Ingenii 数据工程包

细节

• 当前版本：0.3.2

概述

此软件包提供用于 Ingenii 的 Azure 数据平台上的数据工程的实用程序。这既可以用于本地开发，也可以在Ingenii Databricks Runtime中使用。

用法

导入包以使用其中的功能。

import ingenii_data_engineering

数据库

此软件包的一部分验证 dbt 模式以确保它们与 Databricks 和更大的 Ingenii 数据平台兼容。当运行用于摄取文件的数据管道时会发生这种情况，以确保正确摄取文件。有关如何在数据工程存储库中设置 dbt 模式文件的完整详细信息，请参阅Ingenii 数据工程示例存储库。

预处理

这个包包含的代码有助于在数据平台摄取文件之前对文件进行预处理。这允许用户将任何数据转换为兼容的形式。在Ingenii 数据工程示例存储库中查看使用预处理功能的详细信息。

该包还包含将预处理脚本转换为包的代码，可供数据平台上传和使用。安装此软件包后，命令

python -m <package name> <command> <folder with pre-processing code>
python -m ingenii_data_engineering pre_processing_package pre_process

将.whl在名为dist/. 有关更多详细信息，请参阅Ingenii 数据工程示例存储库。

发展

先决条件

1. git SCM的工作知识
2. 安装Python 3.7.3

设置

1. 完成“入门 > 先决条件”部分
2. 仅适用于 Windows：
3. 运行make setup：将 .env 复制到位（.env-dist> .env）

入门

1. 完成“入门 > 设置”部分

2. 从存储库的根目录，在终端（最好在您的 IDE 中）运行以下命令来设置虚拟环境：

   python -m venv venv
   . venv/bin/activate
   pip install -r requirements-dev.txt
   pre-commit install
   

   或对于 Windows：

   python -m venv venv
   . venv/Scripts/activate
   pip install -r requirements-dev.txt
   pre-commit install
   

3. 注意：如果permission denied在执行pre-commit install命令时出现错误，则需要运行chmod -R 775 venv/bin/以递归更新venv/bin/目录中的权限

4. 以下检查作为预提交挂钩的一部分运行：flake8（注意单元测试不作为挂钩运行）

建造

1. 完成“入门 > 设置”部分
2. 运行make build以在其中创建包./dist
3. 运行make clean以删除 dist 文件

测试

1. 完成“入门 > 设置”和“开发”部分
2. 运行以使用pytestmake test运行单元测试
3. flake8使用flake8运行lint 检查
4. 运行make qa以在单个命令中运行单元测试和 linting
5. 运行make qa以删除 pytest 文件

版本历史

• 0.3.2: JSON UTF-8 BOM 的进一步错误修复
• 0.3.1：删除特定于 Databricks 的不必要功能
• 0.3.0: 使用模块创建预处理包
• 0.2.1: 处理 JSON 读取 UTF-8 BOM
• 0.2.0: 预处理全部在“存档”容器中进行
• 0.1.5: .csv 文件中列名的更好功能
• 0.1.4: 处理 JSON 文件
• 0.1.3: 添加预处理工具
• 0.1.2：使用 Databricks 运行时重新安排和更好地分配工作。更好的验证
• 0.1.1： 修正了一些小错误
• 0.1.0: dbt schema 验证，预处理类