HanLP 的 Python 包装器:Han Language Processing
项目描述
pyhanlp:HanLP1.x 的 Python 接口
HanLP1.x的Python,自动支持下载AnLP1.x,升级接口,Python<=3.8。内部入门经工业界和学校语言处理匹配,《自然》已经出版,欢迎随书代码或点击点击基于深度学习的HanLP2.x已于2020年初发布,次世代最先进的多语种NLP技术,与1.x相辅相成,平行发展。
安装
懒人请点击;然后非IT人员可直接使用傻瓜虚拟机;请工程师先安装conda ,执行:
conda install -c conda-forge openjdk python=3.8 jpype1=0.7.0 -y
pip install pyhanlp
使用命令hanlp来安装,如因网络参考等原因自动安装失败,可手动验证配置或Windows 指南。
丙
中文分词
使用命令输入一个LP结果hanlp segment分词模式,句子回车,x会输出分词模式:
$ hanlp segment
商品和服务
商品/n 和/cc 服务/vn
当下雨天地面积水分外严重
当/p 下雨天/n 地面/n 积水/n 分外/d 严重/a
龚学平等领导说,邓颖超生前杜绝超生
龚学平/nr 等/udeng 领导/n 说/v ,/w 邓颖超/nr 生前/t 杜绝/v 超生/vi
还可以输入输出到文件等:
$ hanlp segment <<< '欢迎新老师生前来就餐'
欢迎/v 新/a 老/a 师生/n 前来/vi 就餐/vi
依存句法分析
指挥为hanlp parse,支持主持会议:
$ hanlp parse <<< '徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。'
1 徐先生 徐先生 nh nr _ 4 主谓关系 _ _
2 还 还 d d _ 4 状中结构 _ _
3 具体 具体 a a _ 4 状中结构 _ _
4 帮助 帮助 v v _ 0 核心关系 _ _
5 他 他 r rr _ 4 兼语 _ _
6 确定 确定 v v _ 4 动宾关系 _ _
7 了 了 u ule _ 6 右附加关系 _ _
8 把 把 p pba _ 15 状中结构 _ _
9 画 画 v v _ 8 介宾关系 _ _
10 雄鹰 雄鹰 n n _ 9 动宾关系 _ _
11 、 、 wp w _ 12 标点符号 _ _
12 松鼠 松鼠 n n _ 10 并列关系 _ _
13 和 和 c cc _ 14 左附加关系 _ _
14 麻雀 麻雀 n n _ 10 并列关系 _ _
15 作为 作为 p p _ 6 动宾关系 _ _
16 主攻 主攻 v vn _ 17 定中关系 _ _
17 目标 目标 n n _ 15 动宾关系 _ _
18 。 。 wp w _ 4 标点符号 _ _
服务器
通过hanlp serve来启动构建的http服务器,默认本地访问地址为:http://localhost:8765;也可以访问官网演示页面:http://hanlp.hankcs.com/。
升级
通过hanlp update命令来将HanLP1.x升级到最新版。该命令会获取HanLP主项目最新版本并自动下载安装。
欢迎通过hanlp --help最新帮助手册查看。
API
通过工具类HanLP调用常用接口:
from pyhanlp import *
print(HanLP.segment('你好,欢迎在Python中调用HanLP的API'))
for term in HanLP.segment('下雨天地面积水'):
print('{}\t{}'.format(term.word, term.nature)) # 获取单词与词性
testCases = [
"商品和服务",
"结婚的和尚未结婚的确实在干扰分词啊",
"买水果然后来世博园最后去世博会",
"中国的首都是北京",
"欢迎新老师生前来就餐",
"工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作",
"随着页游兴起到现在的页游繁盛,依赖于存档进行逻辑判断的设计减少了,但这块也不能完全忽略掉。"]
for sentence in testCases: print(HanLP.segment(sentence))
# 关键词提取
document = "水利部水资源司司长陈明忠9月29日在国务院新闻办举行的新闻发布会上透露," \
"根据刚刚完成了水资源管理制度的考核,有部分省接近了红线的指标," \
"有部分省超过红线的指标。对一些超过红线的地方,陈明忠表示,对一些取用水项目进行区域的限批," \
"严格地进行水资源论证和取水许可的批准。"
print(HanLP.extractKeyword(document, 2))
# 自动摘要
print(HanLP.extractSummary(document, 3))
# 依存句法分析
print(HanLP.parseDependency("徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。"))
更多功能
更多功能,包括但不包括:除了
- 自定义词典
- 极速词典分词
- 索引分词
- CRF分词
- 机词法分析
- 台湾正体、香港繁体
- 抽取关键词、自动抽取
- 文本分类、情绪分析
阅读H和Demos语法,用JClass引入更多LP的主类文档com.hankcs.hanlp.model.perceptron.PerceptronLexicalAnalyzer需要参考Java类引入更多LP类的类路径,以机法分析用在这个类的地方,先把这个项目放在包名下,所以先把项目放在下面。JClass类,然后就可以调用了:
PerceptronLexicalAnalyzer = JClass('com.hankcs.hanlp.model.perceptron.PerceptronLexicalAnalyzer')
analyzer = PerceptronLexicalAnalyzer()
print(analyzer.analyze("上海华安工业(集团)公司董事长谭旭光和秘书胡花蕊来到美国纽约现代艺术博物馆参观"))
输出:
[上海/ns 华安/nz 工业/n (/w 集团/n )/w 公司/n]/nt 董事长/n 谭旭光/nr 和/c 秘书/n 胡花蕊/nr 来到/v [美国/ns 纽约/ns 现代/t 艺术/n 博物馆/n]/ns 参观/v
如果你经常使用此类,欢迎将其写入中提交请求,谢谢SafeJClass!LazyLoadingJClasspyhanlp/__init__.py
与其他项目共享数据
HanLP1.x高度可定制的特点,所有型号和目录都可以自由替换您的项目共享数据,如果您将任何项目的配置文件复制到 py 目录下,hanlp.properties可以将其安装到您的安装目录下。本机安装目录可以通过hanlp --version获取。
,还可以通过--config临时加载另一个配置文件:
hanlp segment --config path/to/another/hanlp.properties
测试
git clone https://github.com/hankcs/pyhanlp.git
cd pyhanlp
pip install -e .
python tests/test_hanlp.py
反馈
有什么bug,请前往HanLP issue区。请上论坛反馈,谢谢提问。
《自然语言处理入门》
初学者可以考虑这本入门书:
一本匹配HanLP的NLP入门,从基本理论生产代码与Java语言出发,从基本概念出发,与Java语言分类、词分类、操作识别、信息实施、Python语言与文本分双分析这几个热门的算法原理与工程实现。通过对语言问题的讲解,展示了它们的算法的优缺点和适用的场景,同时在比较详细的演示级应用成熟代码,帮助你处理将真正的自然语言问题生产环境中。
语言处理入门入门》由人工智能科技大学数学系创系主任夏志宏、亚洲周明、字节跳自然人工智能实验室主任、亚洲人工智能实验室主任、亚洲华为诺亚方舟实验室模拟实验室、南方实验室、副实验室、副实验室人工智能人工智能实验室负责人、中国实验室清华大学副教授、北京理工大学副教授张平和52n副教授、中国科学院实验室主任、北京理工大学副教授张平和52n副教授。本书能成为大家工程和上的“蝴蝶蝴蝶”,帮助大家在NLP之路上学习蜕变成蝶。
授权协议
阿帕奇许可证 2.0