LTP和THULAC的安装与分词工具的使用

最新推荐文章于 2024-12-10 22:11:43 发布

原创

最新推荐文章于 2024-12-10 22:11:43 发布 · 2.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#ltp #thulac

本文介绍了LTP和THULAC两个分词工具的安装和使用步骤。对于LTP，包括了解压文件、编译、移动模型数据、执行分词命令等；对于THULAC，涉及编译源码、替换可执行文件、设置模型路径及使用选项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

LTP分词工具使用说明：

提前准备：
1. LTP项目文件：ltp-3.4.0.tar.gz
2. LTP模型文件：ltp_data_v3.4.0.zip

分别将上述文件进行解压：
执行命令：tar -zxv -f ltp-3.4.0.tar.gz ，解压后的文件为 ltp-3.4.0
执行命令：unzip ltp_data_v3.4.0.zip ,解压后的文件为 ltp_data_v3.4.0

使用步骤：

1. 直接在项目根目录下使用命令进行编译，即进入ltp-3.4.0文件目录后，执行
./configure
make
若编译成功，则会在项目根目录下生成bin目录，其目录下有ltp_test和ltp_server,以及./bin/example中有以下二进制程序：
cws_cmdline
ner_cmdline
par_cmdline
pos_cmdline
srl_cmdline

2.将解压后的文件ltp_data_v3.4.0移动到./bin下，并命名为ltp_data ；
将待处理文件（输入文件）移动到./bin 下，注意：要求输入文件的编码格式是utf-8!!!

3.由于只需要进行分词，我们只利用到cws_cmdline程序,因此,为了方便起见，将cws_cmdline文件移动到./bin下，

通过执行./cws_cmdline可查看其使用方法:
cws_cmdline in LTP 3.4.0 - (C) 2012-2017 HIT-SCIR
The console application for Chinese word segmentation.

usage: ./cws_cmdline <options>

options:
--threads arg The number of threads [def