哈工大语言云（LTP）本地安装使用及Python调用

转载：http://blog.youkuaiyun.com/churximi/article/details/51174182

备注：本文实验环境为64位win7系统，32位python2.7.11

哈工大LTP官方主页：http://ltp.readthedocs.org/zh_CN/latest/index.html

1.LTP下载

（1）LTP项目文件ltp-3.3.1-win-x86.zip

（2）LTP模型文件3.3.1（2016年4月13日前）

下载地址参考：http://ltp.readthedocs.org/zh_CN/latest/install.html

Windows系统直接下载编译好的二进制文件ltp-3.3.1-win-x86.zip，不用管编译。

2.文件夹放置

（1）新建一个项目文件夹：D:\myprojects\LTP；

（2）将模型文件解压后的ltp_data文件夹放入项目文件夹；

（3）将ltp-3.3.1-win-x86.zip解压后的dll、exe文件全部拷入项目文件夹。

最后文件夹列表如下：

说明：因为内部默认路径的关系，这样放置可以使ltp_data文件夹处在默认路径上。

3.Python使用ltp_test

LTP提供的模型包括：（在ltp_data文件夹）
    cws.model         分句模型，单文件
    pos.model         词性标注模型，单文件
    ner.model 命名实体识别模型，单文件
    parser.model 依存句法分析模型，单文件
    srl_data/ 语义角色标注模型，多文件（文件夹srl）

    ltp_test是一个整合LTP中各模块的命令行工具。它完成加载模型，依照指定方法执行分析的功能。

    主要参数：线程数、最终步骤、输入文件路径、模型路径、词典路径等。

    具体可通过CMD运行ltp_test.exe查看。

python程序简单调用：

[python]  view plain  copy

 

 

1. # -*- coding: utf-8 -*-  
2.   
3. """ 
4. 学习：python执行CMD命令command，可以用&连接多个命令 
5. 功能：python调用CMD命令来执行本地LTP功能 
6. 时间：2016年4月13日 19:07:41 
7. """  
8.   
9. import os  
10.   
11. project_path = "d:\\myprojects\\LTP"    # 项目文件夹目录  
12.   
13. # 可设置ltp_test、（cws、pos、par、ner）_cmdline，但是注意各自能用的参数，没有的参数请置空""  
14. model_exe = "ltp_test"    # 又如cws_cmdline  
15.   
16. threads_num = " --threads "+str(3)                                    # 更改线程数  
17. last_stage = " --last-stage "+"all"                                   # 最终步骤，可设置ws、pos、ner、dp、srl、all  
18. input_path = " --input "+"d:\\myprojects\\LTP\\file\\test.txt"        # 输入文件  
19. seg_lexicon = ""                                                      # 分词用户词典  
20. pos_lexicon = ""                                                      # 词性标注用户词典  
21. output_path = "D:\\myprojects\\LTP\\result\\out.txt"                  # 输出文件  
22.   
23. command = "cd "+project_path+" & "+model_exe+threads_num+input_path+last_stage+" > "+output_path  
24. os.system(command)  

4.Python使用xxx_cmdline

（1）cws_cmdline ：分词命令行 

（2）pos_cmdline ：词性标注命令行 

（3）par_cmdline ：句法分析命令行

（4）ner_cmdline ：命名实体识别命令行

python程序简单调用（以cws_cmdline为例，其他类似，参数略不同）

[python]  view plain  copy

 

 

1. # -*- coding: utf-8 -*-  
2.   
3. """ 
4. 功能：LTP本地分词cws_cmdline，输入文本需要每行一句。（不能自动分句） 
5. 时间：2016年4月13日 20:22:39 
6. """  
7.   
8. import os  
9.   
10. project_path = "d:\\myprojects\\LTP"    # 项目文件夹目录  
11.   
12. model_exe = "cws_cmdline"               # 分词模块，相当于ltp_test的last_stage=ws，但是输出格式不同  
13.   
14. threads_num = " --threads "+str(3)                                    # 更改线程数  
15. input_path = " --input "+"d:\\myprojects\\LTP\\file\\test.txt"        # 输入文件  
16. seg_lexicon = " --segmentor-lexicon "+"D:\\myprojects\\LTP\\file\\seg_lexicon.txt"     # 分词用户词典  
17. output_path = "D:\\myprojects\\LTP\\result\\out.txt"                  # 输出文件  
18.   
19. command = "cd "+project_path+" & "+model_exe+threads_num+input_path+seg_lexicon+" > "+output_path  
20. os.system(command)  

5.注意事项

（1）长度限制：为了防止输入过长句子对稳定性造成影响，限制输入字数少于1024字，分词结果少于256词。

（2）编码：统一采用UTF-8

6.使用心得

（1）ltp_test输出结果只有xml格式；（在线ltp-cloud api调用可以返回多种格式）
（2）ltp_test可以自动分句，遇到新的文本段落时，句子编号重新会从0开始（所以已经分好句的文本，输出结果中的句子编号都是0）
（3）单独使用某个功能模块时，需要事先分好句或者分好词；（不同分析之间存在的依赖关系）
（4）#、&、+等特殊符号不会影响LTP本地分析；（在线ltp-cloud api调用会有影响）；
（5）cws_cmdline分词模块输出结果为plain格式，分词间隔用的是TAB制表符；
（6）pos_cmdline词性标注模块输出结果为plain格式，结果用TAB制表符分隔；词与词性之间以下划线（_）连接。
（7）分词用户词典问题：官方说“可以设置用户词典，但是ltp的分词模块并非采用词典匹配的策略，外部词典以特征方式加入机器学习算法，并不能保证所有的词都是按照词典里的方式进行切分。”

    例子：“C++”、“互联网+”这样的词，加入词典还是不能切分出来。

（8）一定要注意编码问题：用户词典也要用UTF-8无BOM格式编码，如果是UTF-8格式编码，将导致第一行的词不能被正确识别（因为存在字节前缀）。