用于 dbt 的基于 CDE API 的 Cloudera Spark 适配器插件
项目描述
dbt-spark-cde
该dbt-spark-cde适配器允许您使用带有 CDE API 服务器支持的dbt Cloudera 数据平台。此代码库使用 dbt-spark 项目 ( https://github.com/dbt-labs/dbt-spark )，并提供基于 CDE API 的连接支持。
入门
要求
蟒蛇> = 3.9
dbt 核心 >= 1.1.0
请求 >= 2.28.1
请求工具带 >= 0.9.1
pyspark
sql参数
安装 dbt-spark-cde
pip install dbt-spark-cde
配置文件设置
demo_project:
target: dev
outputs:
dev:
type: spark_cde
method: cde
schema: my_db
auth_endpoint: https://service.spark-cde-gateway.my.org.com/
host: https://spark-cde-gateway.my.org.com/dex/api/v1/
user: my_user
password: my_pass
- 要获取 auth_endpoint，请按照以下步骤操作：（https://docs.cloudera.com/data-engineering/cloud/api-access/topics/cde-api-get-access-token.html）
注意事项
- 使用 cde 时，如果您在 Livy UI 中注意到会话从启动而不是空闲状态更改为死状态，请确保在 IDBroker 映射部分中为用户提供了正确的映射
- 操作 > 管理访问 > IDBroker 映射。参考
- 还要确保通过 UI 或 CLI 设置工作负载密码。参考
支持的功能
请参阅原始适配器文档：https ://github.com/dbt-labs/dbt-spark和https://docs.getdbt.com/reference/warehouse-profiles/spark-profile
下载文件
下载适用于您平台的文件。如果您不确定要选择哪个，请了解有关安装包的更多信息。
源分布
dbt-spark-cde-1.1.4.tar.gz
（32.7 kB
查看哈希）
内置分布
dbt_spark_cde-1.1.4-py3-none-any.whl
（40.2 kB
查看哈希）
关
dbt_spark_cde -1.1.4-py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 8c21c7087f5024d9b1a070a2a811328f05f4ee3de72ef3c8cd328ba4b4c05a38 |
|
| MD5 | daf29b44707b9e6276f5dcfd9b4ff854 |
|
| 布莱克2-256 | c753777b7867c248e2587716f3bc3cc72a4dc224bd7a114f2040bf77af2985b2 |