aws-datapipe 0.1.3

先决条件

此工具仅支持 Python 3，因为 Python 2.7 将不会在 2020 年之后维护

AWS-Datapipe 使用 awscli 在您的 AWS 账户中配置管道。默认情况下，安装 aws-datapipe 您还将安装所有先决条件，因此您可以跳过此阶段并转到安装步骤。但是，如果您想手动执行此操作：

安装 aws-cli 的最简单方法是在virtualenv中使用pip：

$ pip install awscli

或者，如果您没有安装在virtualenv中，则全局安装：

$ sudo pip install awscli

或为您的用户：

$ pip install --user awscli

如果您安装了 aws-cli 并想要升级到最新版本，您可以运行：

$ pip install --upgrade awscli

因为 aws-datapipe 基于 aws-cli，所以在使用 aws-datapipe 之前，您需要使用 aws-cli 配置您的 AWS 凭证。您可以通过多种方式执行此操作：

• 环境变量

• 共享凭证文件

• 配置文件

• IAM 角色

最快的入门方法是运行aws configure命令：

$ aws configure
AWS Access Key ID: foo
AWS Secret Access Key: bar
Default region name [us-west-2]: us-west-2
Default output format [None]: json

有关 aws-cli 配置的其他信息和其他方式，您可以在此处查看

安装

安装 aws-datapipe 的最简单方法是在virtualenv中使用pip：

$ pip install aws-datapipe

或者，如果您没有安装在virtualenv中，则全局安装：

$ sudo pip install aws-datapipe

或为您的用户：

$ pip install --user aws-datapipe

如果您安装了 aws-datapipe 并想要升级到最新版本，您可以运行：

$ pip install --upgrade aws-datapipe

以从系统中获取一些数据或将其用于小演示的示例结束

入门

您可以通过两种不同的方式使用 AWS Datapipe：

• 交互的

• 传递参数

要列出所有可用的参数和其他信息，请检查--help。

对于交互模式，只需启动工具aws-datapipe，它会询问您构建管道所需的信息。

在 AWS 中创建数据管道后，datapipe 将在本地保存一个与您的管道同名的管道定义文件，可以用作备份。之后，您可以在下一步的脚本中直接激活管道：

您想现在激活管道吗？[是/否]

您可以在以后随时从 AWS 控制台省略激活并手动激活管道

目前aws-datapipe正在创建将在激活后每 14 天运行一次的管道。

计划配置即将推出.. 检查更新

版本控制

我使用SemVer进行版本控制。有关可用版本，请参阅此存储库上的标签。

作者

• Maxim Tacu - 现场可靠性工程师 - OLX Group。

执照

该项目在 MIT 许可下获得许可 - 请参阅LICENSE文件了解详细信息