NLU：Spark NLP 的力量，Python 的简单性

John Snow Labs 的 NLU 是一个 Python 库，用于直接在任何数据帧上应用最先进的文本挖掘，只需一行代码。作为屡获殊荣的 Spark NLP 库的门面，它配备了数十种语言的数百个预训练模型——所有模型都是生产级的、可扩展的和可训练的。

项目网站

查看我们的官方 Spark NLU 页面：https ://nlu.johnsnowlabs.com/ 以获取用户文档和示例

NLU 在行动

NLU 入门

要获得 NLU 的强大功能，您只需通过 pip 安装它并确保 Java 8 已安装并正确配置。结帐快速入门了解更多信息

pip install nlu

在 1 行 python 中使用任何模型加载和预测

import nlu 
nlu.load('sentiment').predict('I love NLU! <3') 

在 1 行中使用多个模型加载和预测

在 1 行中获取 6 个不同的嵌入，并将它们用于下游数据科学任务！

nlu.load('bert elmo albert xlnet glove use').predict('I love NLU! <3') 

NLU 提供什么样的模型？

NLU 在一行代码中提供了数据科学家可能想要的一切！

• NLU 在一行代码中提供了数据科学家可能想要的一切！
• 350 + 预训练模型
• 100 多种最新的 NLP 词嵌入（BERT、ELMO、ALBERT、XLNET、GLOVE、BIOBERT、ELECTRA、COVIDBERT）以及它们的不同变体
• 50 多种最新的 NLP 句子嵌入（BERT、ELECTRA、USE）和它们的不同变体
• 50 多个分类器（NER、POS、情感、讽刺、问题、垃圾邮件）
• 40 多种支持的语言
• 有标签和无标签的依赖解析
• 各种文本清洗和预处理方法，如词干提取、词形还原、规范化、过滤、清洗管道等

在许多不同的不同数据集上训练的分类器

为正确的任务选择正确的工具！无论您是分析电影还是推特，NLU 都有适合您的模型！

• trec6 分类器
• trec10 分类器
• 垃圾邮件分类器
• 假新闻分类器
• 情绪分类器
• 网络欺凌分类器
• 讽刺分类器
• 电影情感分类器
• IMDB 电影情感分类器
• Twitter情绪分类器
• 在 ONTO 笔记上预训练的 NER
• CONLL 上的 NER 培训师
• wiki 20 lang 数据集上 20 种语言的语言分类器。

数据科学 NLU 应用程序的实用程序

处理文本数据有时可能是一项相当肮脏的工作。NLU 通过提供大量组件来消除数据工程密集型任务，从而帮助您保持双手清洁。

• 日期时间匹配器
• 模式匹配器
• 块匹配器
• 短语匹配器
• 停用词清洁剂
• 图案清洁剂
• 俚语清洁工

我在哪里可以看到 NLU 的整个报价？

查看NLU 命名空间，了解 NLU 提供的所有内容！

支持的数据类型

• Pandas DataFrame 和系列
• 火花数据帧
• 带有 Ray 后端的 Modin
• 带有 Dask 后端的 Modin
• numpy 数组
• 字符串和字符串列表

查看以下笔记本，了解如何使用 NLU 的示例。

数据集上的 NLU 演示

• Kaggle Twitter 航空公司情绪分析 NLU 演示
• Kaggle Twitter 航空公司情绪分析 NLU 演示
• Kaggle Twitter COVID 情绪分析 NLU 演示
• Kaggle Twitter COVID 情绪分析 nlu 演示

NLU 组件示例

以下是展示每个 NLU 组件和一些应用程序的协作示例。

• 命名实体识别 (NER)

  • 在 ONTO Notes 上预训练的 NER
  • 在 CONLL 上预训练的 NER

• 词性（POS）

  • 在 ANC 数据集上预训练的 POS

• 分类器

  • 使用 YAKE 进行无监督关键字提取
  • 有毒文本分类器
  • Twitter 情绪分类器
  • 电影评论情感分类器
  • 讽刺分类器
  • 50 类问题分类器
  • 20类语言分类器
  • 假新闻分类器
  • E2E 分类器
  • 网络欺凌分类器
  • 垃圾邮件分类器

• 词嵌入

  • BERT 词嵌入和 T-SNE 绘图
  • ALBERT 词嵌入和 T-SNE 绘图
  • ELMO 词嵌入和 T-SNE 绘图
  • XLNET 词嵌入和 T-SNE 绘图
  • ELECTRA 词嵌入和 T-SNE 绘图
  • COVIDBERT 词嵌入和 T-SNE 绘图
  • BIOBERT 词嵌入和 T-SNE 绘图
  • GLOVE 词嵌入和 T-SNE 绘图

• 句子嵌入

  • BERT 句子嵌入和 T-SNE 绘图
  • ELECTRA 句子嵌入和 T-SNE 绘图
  • 使用句子嵌入和 T-SNE 绘图

• 依赖解析

  • 无类型依赖解析
  • 类型依赖解析

• 文本预处理和清洗

  • 代币化
  • 停用词删除
  • 词干
  • 词形还原
  • 规范化
  • 拼写检查
  • 句子检测

• 分块

  • N克
  • 实体分块

• 匹配器

  • 日期匹配器

需要帮忙？

• 在 Slack 上联系我们
• 在 Github 上发布问题

简单的 NLU 演示

• NLU 不同输出级别 Demo