Skip to main content

HanLP 的 Python 包装器:Han Language Processing

项目描述

pyhanlp:HanLP1.x 的 Python 接口

皮皮 下载 GitHub 许可证 运行 Jupyter 粘合剂

HanLP1.x的Python,自动支持下载AnLP1.x,升级接口,Python<=3.8。内部入门经工业界和学校语言处理匹配,《自然》已经出版,欢迎随书代码或点击点击粘合剂基于深度学习的HanLP2.x已于2020年初发布,次世代最先进的多语种NLP技术,与1.x相辅相成,平行发展。

安装

懒人请点击运行 Jupyter;然后非IT人员可直接使用傻瓜虚拟机;请工程师先安装conda ,执行:

conda install -c conda-forge openjdk python=3.8 jpype1=0.7.0 -y
pip install pyhanlp

使用命令hanlp来安装,如因网络参考等原因自动安装失败,可手动验证配置或Windows 指南

中文分词

使用命令输入一个LP结果hanlp segment分词模式,句子回车,x会输出分词模式:

$ hanlp segment
商品和服务
商品/n /cc 服务/vn
当下雨天地面积水分外严重
/p 下雨天/n 地面/n 积水/n 分外/d 严重/a
龚学平等领导说,邓颖超生前杜绝超生
龚学平/nr /udeng 领导/n /v ,/w 邓颖超/nr 生前/t 杜绝/v 超生/vi

还可以输入输出到文件等:

$ hanlp segment <<< '欢迎新老师生前来就餐'               
欢迎/v /a /a 师生/n 前来/vi 就餐/vi

依存句法分析

指挥为hanlp parse,支持主持会议:

$ hanlp parse <<< '徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。'         
1	徐先生	徐先生	nh	nr	_	4	主谓关系	_	_
2			d	d	_	4	状中结构	_	_
3	具体	具体	a	a	_	4	状中结构	_	_
4	帮助	帮助	v	v	_	0	核心关系	_	_
5			r	rr	_	4	兼语	_	_
6	确定	确定	v	v	_	4	动宾关系	_	_
7			u	ule	_	6	右附加关系	_	_
8			p	pba	_	15	状中结构	_	_
9			v	v	_	8	介宾关系	_	_
10	雄鹰	雄鹰	n	n	_	9	动宾关系	_	_
11			wp	w	_	12	标点符号	_	_
12	松鼠	松鼠	n	n	_	10	并列关系	_	_
13			c	cc	_	14	左附加关系	_	_
14	麻雀	麻雀	n	n	_	10	并列关系	_	_
15	作为	作为	p	p	_	6	动宾关系	_	_
16	主攻	主攻	v	vn	_	17	定中关系	_	_
17	目标	目标	n	n	_	15	动宾关系	_	_
18			wp	w	_	4	标点符号	_	_

服务器

通过hanlp serve来启动构建的http服务器,默认本地访问地址为:http://localhost:8765;也可以访问官网演示页面:http://hanlp.hankcs.com/

升级

通过hanlp update命令来将HanLP1.x升级到最新版。该命令会获取HanLP主项目最新版本并自动下载安装。

欢迎通过hanlp --help最新帮助手册查看。

API

通过工具类HanLP调用常用接口:

from pyhanlp import *

print(HanLP.segment('你好,欢迎在Python中调用HanLP的API'))
for term in HanLP.segment('下雨天地面积水'):
    print('{}\t{}'.format(term.word, term.nature)) # 获取单词与词性
testCases = [
    "商品和服务",
    "结婚的和尚未结婚的确实在干扰分词啊",
    "买水果然后来世博园最后去世博会",
    "中国的首都是北京",
    "欢迎新老师生前来就餐",
    "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作",
    "随着页游兴起到现在的页游繁盛,依赖于存档进行逻辑判断的设计减少了,但这块也不能完全忽略掉。"]
for sentence in testCases: print(HanLP.segment(sentence))
# 关键词提取
document = "水利部水资源司司长陈明忠9月29日在国务院新闻办举行的新闻发布会上透露," \
           "根据刚刚完成了水资源管理制度的考核,有部分省接近了红线的指标," \
           "有部分省超过红线的指标。对一些超过红线的地方,陈明忠表示,对一些取用水项目进行区域的限批," \
           "严格地进行水资源论证和取水许可的批准。"
print(HanLP.extractKeyword(document, 2))
# 自动摘要
print(HanLP.extractSummary(document, 3))
# 依存句法分析
print(HanLP.parseDependency("徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。"))

更多功能

更多功能,包括但不包括:除了

  • 自定义词典
  • 极速词典分词
  • 索引分词
  • CRF分词
  • 机词法分析
  • 台湾正体、香港繁体
  • 抽取关键词、自动抽取
  • 文本分类、情绪分析

阅读H和Demos语法,用JClass引入更多LP的主类文档com.hankcs.hanlp.model.perceptron.PerceptronLexicalAnalyzer需要参考Java类引入更多LP类的类路径,以机法分析用在这个类的地方,先把这个项目放在包名下,所以先把项目放在下面。JClass类,然后就可以调用了:

PerceptronLexicalAnalyzer = JClass('com.hankcs.hanlp.model.perceptron.PerceptronLexicalAnalyzer')
analyzer = PerceptronLexicalAnalyzer()
print(analyzer.analyze("上海华安工业(集团)公司董事长谭旭光和秘书胡花蕊来到美国纽约现代艺术博物馆参观"))

输出:

[上海/ns 华安/nz 工业/n (/w 集团/n )/w 公司/n]/nt 董事长/n 谭旭光/nr 和/c 秘书/n 胡花蕊/nr 来到/v [美国/ns 纽约/ns 现代/t 艺术/n 博物馆/n]/ns 参观/v

如果你经常使用此类,欢迎将其写入中提交请求,谢谢SafeJClassLazyLoadingJClasspyhanlp/__init__.py

与其他项目共享数据

HanLP1.x高度可定制的特点,所有型号和目录都可以自由替换您的项目共享数据,如果您将任何项目的配置文件复制到 py 目录下,hanlp.properties可以将其安装到您的安装目录下。本机安装目录可以通过hanlp --version获取。

,还可以通过--config临时加载另一个配置文件:

hanlp segment --config path/to/another/hanlp.properties

测试

git clone https://github.com/hankcs/pyhanlp.git
cd pyhanlp
pip install -e .
python tests/test_hanlp.py

反馈

有什么bug,请前往HanLP issue区。请上论坛反馈,谢谢提问。

《自然语言处理入门》

初学者可以考虑这本入门书:

图像

一本匹配HanLP的NLP入门,从基本理论生产代码与Java语言出发,从基本概念出发,与Java语言分类、词分类、操作识别、信息实施、Python语言与文本分双分析这几个热门的算法原理与工程实现。通过对语言问题的讲解,展示了它们的算法的优缺点和适用的场景,同时在比较详细的演示级应用成熟代码,帮助你处理将真正的自然语言问题生产环境中。

语言处理入门入门》由人工智能科技大学数学系创系主任夏志宏、亚洲周明、字节跳自然人工智能实验室主任、亚洲人工智能实验室主任、亚洲华为诺亚方舟实验室模拟实验室、南方实验室、副实验室、副实验室人工智能人工智能实验室负责人、中国实验室清华大学副教授、北京理工大学副教授张平和52n副教授、中国科学院实验室主任、北京理工大学副教授张平和52n副教授。本书能成为大家工程和上的“蝴蝶蝴蝶”,帮助大家在NLP之路上学习蜕变成蝶。

授权协议

阿帕奇许可证 2.0

项目详情