WebCPM项目教程

WebCPM项目教程

WebCPM Official codes for ACL 2023 paper "WebCPM: Interactive Web Search for Chinese Long-form Question Answering" 项目地址: https://gitcode.com/gh_mirrors/we/WebCPM

1. 项目介绍

WebCPM是一个基于中文预训练模型（CPM-bee）的互动式网页搜索系统，用于中文长文本问答。该项目旨在通过模仿人类的网页搜索行为，利用预训练模型生成基于收集到的信息的答案。WebCPM包括一个网页搜索界面、数据集、实现代码和模型参数，旨在为研究人员和开发者提供一个完整的开源解决方案。

2. 项目快速启动

在开始之前，请确保您的环境中已经安装了Python和必要的依赖库。

安装依赖

pip install -r requirements.txt

准备数据

首先，从Google Drive下载数据集，并将interactive_data和pipeline_data文件夹放置在项目的data目录中。或者使用以下命令：

cd data/interactive_data
python split.py --add_zhihu

此命令会分割数据集为训练集、验证集和测试集，并可选择性地加入来自知乎的额外数据。

准备模型

WebCPM基于最大中文预训练模型CPM-bee，使用的是一个早期版本。你可以从清华大学云盘下载模型参数：

cd models
bash download_model_initial_model.sh

训练模型

进入训练目录，并根据需要运行相应的训练脚本。

cd training
# 设置可见的GPU设备
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
# 训练模型（示例命令）
python train.py --model_name cpm_10b_webcpm_exp --train_data_path ../data/interactive_data/train_data.json --dev_data_path ../data/interactive_data/dev_data.json

确保根据实际情况修改命令中的参数。

3. 应用案例和最佳实践

• 数据增强：为了提高模型的泛化能力，可以在训练过程中加入自动生成的问答数据。
• 多任务训练：WebCPM支持多任务训练，例如同时进行查询生成、支持事实提取和答案合成。

4. 典型生态项目

• 预训练模型：CPM-bee，用于提供强大的语言理解能力。
• 搜索系统：结合WebCPM的搜索系统，可以开发更加智能的问答机器人。
• 数据标注平台：用于收集和标注人类搜索行为数据，以进一步训练和优化模型。

通过上述教程，您可以快速上手WebCPM项目，并根据自己的需求进行定制化开发和优化。

WebCPM Official codes for ACL 2023 paper "WebCPM: Interactive Web Search for Chinese Long-form Question Answering" 项目地址: https://gitcode.com/gh_mirrors/we/WebCPM