WebCPM项目安装与配置指南

WebCPM项目安装与配置指南

WebCPM Official codes for ACL 2023 paper "WebCPM: Interactive Web Search for Chinese Long-form Question Answering" 项目地址: https://gitcode.com/gh_mirrors/we/WebCPM

1. 项目基础介绍

WebCPM是一个开源项目，旨在通过使用中文预训练模型进行交互式网页搜索，以回答长篇问题。该项目基于大型中文预训练模型CPM-bee，通过模仿人类的网页搜索行为来生成基于收集到的事实的答案。项目提供了网页搜索接口、数据集、实现代码以及模型参数。

主要编程语言：Python

2. 项目使用的关键技术和框架

• CPM-bee模型：该项目使用的是社区中最大的中文预训练语言模型之一，具有高达100亿个参数。
• 交互式网页搜索：通过细粒度的用户交互行为数据来训练模型，以实现更自然的搜索过程。
• 基于管道的网页搜索：另一种搜索方式，通过生成搜索查询、访问网页、提取信息并生成答案的流程来工作。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已经安装了以下环境和依赖：

• Python 3.x（推荐使用Python 3.6及以上版本）
• pip（Python的包管理工具）
• GPU（推荐使用NVIDIA GPU以加速模型训练，若没有GPU也可以在CPU上运行，但训练速度会慢很多）

安装步骤

1. 克隆项目仓库

   打开终端（或命令提示符），执行以下命令克隆项目仓库：

   git clone https://github.com/thunlp/WebCPM.git
   cd WebCPM
   

2. 安装依赖

   在项目根目录下，使用pip安装所需的依赖：

   pip install -r requirements.txt
   

   注意：不同版本的包（例如pytorch）可能会导致与论文中不同的结果。然而，无论使用什么版本的包，趋势应该保持不变。

3. 下载模型参数

   根据项目README中的说明，下载所需的模型参数文件，并放置到models目录下。

4. 准备数据

   下载项目所需的数据集，并将其放置到data/interactive_data目录下。可以使用以下命令进行数据拆分：

   cd data/interactive_data
   python split.py --add_zhihu
   

   如果需要使用基于管道的网页搜索数据集，同样将其放置在相应目录下，但不需要拆分。

5. 训练模型

   根据项目提供的脚本，开始训练模型。具体的训练命令和方法请参考项目README中的"Training"部分。

完成以上步骤后，您就可以开始使用WebCPM项目进行交互式网页搜索的实验和研究了。

WebCPM Official codes for ACL 2023 paper "WebCPM: Interactive Web Search for Chinese Long-form Question Answering" 项目地址: https://gitcode.com/gh_mirrors/we/WebCPM