在 Dask 上进行 LightGBM 分布式训练
项目描述
Dask-LightGBM - 已弃用
此存储库已弃用
此存储库已弃用，不再维护。代码已迁移到 LightGBM 包 - https://github.com/microsoft/LightGBM。
使用 LightGBM 和 Dask.distributed 进行分布式训练
此存储库使您能够使用 LightGBM 在 Dask.Array 和 Dask.DataFrame 集合上执行分布式训练。它基于 dask-xgboost 包。
用法
将数据加载到分布式数据结构中，可以是 Dask.Array 或 Dask.DataFrame。使用 Dask.distributed.Client 连接到 Dask 集群。让 dask-lightgbm 为您训练模型或进行预测。请参阅系统测试以获取示例代码： https ://github.com/dask/dask-lightgbm/blob/main/system_tests/test_fit_predict.py
这是如何工作的
Dask 主要用于访问集群和管理数据。该库确保每个样本的特征和标签都位于同一个工作人员上。它还让每个工作人员都知道所有其他工作人员的地址和可用端口。分布式训练由 LightGBM 库本身使用套接字执行。在此处查看有关 LightGBM 分布式训练的更多详细信息： https ://github.com/microsoft/LightGBM/blob/main/docs/Parallel-Learning-Guide.rst
下载文件
下载适用于您平台的文件。如果您不确定要选择哪个，请了解有关安装包的更多信息。
源分布
dask-lightgbm-0.2.0.tar.gz
（5.8 kB
查看哈希）
内置分布
dask_lightgbm-0.2.0-py3-none-any.whl
（5.8 kB
查看哈希）
关
dask_lightgbm -0.2.0-py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 88de6cc3312cc54ddf172dd4314ad4579aa5cb25be0a83eb2e2a86b76f73db06 |
|
| MD5 | 8bf4b182ec987ca65784402aa9e2f11b |
|
| 布莱克2-256 | 5b5d88388c8d618f0a7ae3fcff45dd51f53c7719f041618ab692ab70bbc543a6 |