印度语言自然语言工具包 (iNLTK)
项目描述
印度语自然语言工具包 (iNLTK)
iNLTK 旨在为应用程序开发人员可能需要的印度语语言的各种 NLP 任务提供开箱即用的支持。iNLTK 库的论文已被 EMNLP-2020 的 NLP-OSS 研讨会接受。这是论文的预印本
文档
在https://inltk.readthedocs.io查看详细文档以及安装说明
支持的语言
母语
| 语 | 代码 <语言代码> |
|---|---|
| 印地语 | 你好 |
| 旁遮普语 | 帕 |
| 古吉拉特语 | 顾 |
| 卡纳达语 | kn |
| 马拉雅拉姆语 | 毫升 |
| 奥里亚语 | 或者 |
| 马拉地语 | 先生 |
| 孟加拉 | 十亿 |
| 泰米尔语 | ta |
| 乌尔都语 | 你的 |
| 尼泊尔语 | 氖 |
| 梵文 | 萨 |
| 英语 | zh |
| 泰卢固语 | 你 |
代码混合语言
| 语 | 脚本 | 代码 <语言代码> |
|---|---|---|
| 英语（印地语+英语） | 拉丁 | 嗨 |
| 唐语（泰米尔语+英语） | 拉丁 | 塔恩 |
| Manglish（马拉雅拉姆语+英语） | 拉丁 | ml-en |
包含 iNLTK 中使用的模型的存储库
注：英文模型直接取自fast.ai
使用迁移学习 + iNLTK 中的释义的效果
| 语 | 存储库 | 用于分类的数据集 | 使用 完整训练集的结果 |
训练集大小的百分比减少 |
使用没有释义的 缩减训练集的结果 |
使用带有释义的 缩减训练集的结果 |
|---|---|---|---|---|---|---|
| 印地语 | 印地语 NLP | IIT巴特那电影评论 | 准确度：57.74 MCC：37.23 |
80% (2480 -> 496) | 准确度：47.74 MCC：20.50 |
准确度：56.13 MCC：34.39 |
| 孟加拉 | 孟加拉语 NLP | 孟加拉语新闻文章（Soham 文章） | 准确度：90.71 MCC：87.92 |
99% (11284 -> 112) | 准确度：69.88 MCC：61.56 |
准确度：74.06 MCC：65.08 |
| 古吉拉特语 | 古吉拉特语的 NLP | iNLTK 头条新闻语料库 - 古吉拉特语 | 准确度：91.05 MCC：86.09 |
90% (5269 -> 526) | 准确度： 80.88 MCC：70.18 |
准确度：81.03 MCC：70.44 |
| 马拉雅拉姆语 | 马拉雅拉姆语 NLP | iNLTK 头条新闻语料库 - 马拉雅拉姆语 | 准确度：95.56 MCC：93.29 |
90% (5036 -> 503) | 准确度：82.38 MCC：73.47 |
准确度：84.29 MCC：76.36 |
| 马拉地语 | 马拉地语 NLP | iNLTK 头条新闻语料库 - 马拉地语 | 准确度：92.40 MCC：85.23 |
95% (9672 -> 483) | 准确度：84.13 MCC：68.59 |
准确度：84.55 MCC：69.11 |
| 泰米尔语 | 泰米尔语 NLP | iNLTK 头条新闻语料库 - 泰米尔语 | 准确度：95.22 MCC：92.70 |
95% (5346 -> 267) | 准确度：86.25 MCC：79.42 |
准确度：89.84 MCC：84.63 |
有关实施或重现结果的更多详细信息，请查看相应的存储库。
贡献
添加新的语言支持
如果您想在 iNLTK 中添加对您自己选择的语言的支持，请先在此处检查/提出问题
请查看我在这里提到的泰卢固语 开始的步骤。对于其他语言，它们也应该几乎相似。
改进模型/使用模型进行自己的研究
如果您想使用 iNLTK 的模型并使用您自己的数据集对其进行优化或在其上构建您自己的自定义模型，请查看上表中的存储库以了解您选择的语言。上面的存储库包含指向数据集、预训练模型、分类器和所有代码的链接。
添加新功能
如果您希望 iNLTK 中的特定功能 - 首先在此处检查/提出问题
下一步是什么
..并正在处理
Shout out if you want to help :)
- 添加Maithili支持
..并且没有被处理
Shout out if you want to lead :)
iNLTK的鉴赏
- 通过杰里米霍华德在推特上
- 塞巴斯蒂安·鲁德在推特上
- 作者：Vincent Boucher、Philip Vollet、Steve Nouri在LinkedIn
- 作者：Kanimozhi，作者：Soham，作者：Imaad
- iNLTK 于2019 年 5 月在 GitHub 上流行
引文
如果您在研究中使用此库，请考虑引用：
@misc{arora2020inltk,
title={iNLTK: Natural Language Toolkit for Indic Languages},
author={Gaurav Arora},
year={2020},
eprint={2009.12534},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
下载文件
下载适用于您平台的文件。如果您不确定要选择哪个，请了解有关安装包的更多信息。
源分布
inltk-0.9.tar.gz
（20.0 kB
查看哈希）
内置分布
inltk-0.9-py3-none-any.whl
（13.5 kB
查看哈希）