paddle lac 使用ERNIE模型实现命令行交互

最新推荐文章于 2024-04-25 15:09:18 发布

zhaoze13

最新推荐文章于 2024-04-25 15:09:18 发布

阅读量1.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： paddlepaddle

本文链接：https://blog.youkuaiyun.com/weixin_42326230/article/details/91866497

本文介绍了如何利用PaddlePaddle的1.3.2版本和ERNIE模型实现命令行交互式的词法分析。首先安装所需环境，接着下载并准备数据集，然后通过两种方法加载ERNIE模型。对于模型预测中的不足，如非交互性和数据标注需求，文章提供了解决方案，包括修改脚本以实现逐句预测和自动数据包装，增强了交互性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

词法分析使用ERNIE模型
ERNIE模型是百度上线的，目前中文的预测效果最好
使用流程
1、安装
安装paddlepaddle1.3.2
注意安装的paddle版本
将工具分词工具git clone到本地

 git clone https://github.com/PaddlePaddle/models.git
 cd models/PaddleNLP/lexical_analysis

进入到词法分析的文件夹中

2、数据集准备
执行以下命令下载解压数据集

wget --no-check-certificate https://baidu-nlp.bj.bcebos.com/lexical_analysis-dataset-1.0.0.tar.gz
tar xvf lexical_analysis-dataset-1.0.0.tar.gz

3、准备词法分析模型
使用ERNIE模型（这里指的是使用ERNIE的词法分析模型）
方法一使用paddleHub

hub download lexical_analysis_finetuned
tar xvf lexical_analysis_finetuned-1.0.0.tar.gz

方法二直接下载

wget --no-check-certificate https://baidu-nlp.bj.bcebos.com/lexical_analysis_finetuned-1.0.0.tar.gz
tar xvf lexical_analysis_finetuned-1.0.0.tar.gz

注意要下载ERNIE开放模型
执行

mkdir pretrained

将模型下载至pretrained的文件夹中
注意下载模型包含预训练模型参数、词典 vocab.txt、模型配置 ernie_

最低0.47元/天解锁文章

200万优质内容无限畅学