LongWriter 使用与部署指南

LongWriter 使用与部署指南

LongWriter [ICLR 2025] LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs 项目地址: https://gitcode.com/gh_mirrors/lo/LongWriter

1. 项目目录结构及介绍

LongWriter 项目目录结构如下：

LongWriter/
├── .github/             # GitHub 工作流和配置文件
├── agentwrite/         # AgentWrite 自动化超长输出数据构建管道
├── evaluation/         # 评估数据和相关脚本
├── train/              # 模型训练相关代码
├── .gitignore          # Git 忽略文件列表
├── LICENSE.txt         # 项目许可证文件
├── README.md           # 项目自述文件
├── README_jp.md        # 项目自述文件（日语版本）
├── README_zh.md        # 项目自述文件（中文版本）
├── requirements.txt    # 项目依赖文件
├── trans_web_demo.py   # Web 演示脚本
└── vllm_inference.py   # vllm 推断脚本

• .github/: 包含项目使用的 GitHub 工作流和配置文件。
• agentwrite/: AgentWrite 是一个自动化的超长输出数据构建管道，用于生成数据。
• evaluation/: 包含评估模型性能的数据和脚本。
• train/: 包含模型训练所需的代码和配置。
• .gitignore: 指定 Git 忽略的文件和目录。
• LICENSE.txt: Apache-2.0 许可证文本。
• README.md: 项目自述文件，提供项目描述、使用方法和示例。
• README_jp.md: 项目自述文件的日语版本。
• README_zh.md: 项目自述文件的中文版本。
• requirements.txt: 项目依赖列表，指定运行项目所需的 Python 包。
• trans_web_demo.py: 用于部署 Web 演示的 Python 脚本。
• vllm_inference.py: 使用 vllm 进行快速推断的 Python 脚本。

2. 项目的启动文件介绍

trans_web_demo.py 是项目的启动文件，用于部署 Web 演示。运行以下命令启动演示：

CUDA_VISIBLE_DEVICES=0 python trans_web_demo.py

此脚本将启动一个 Web 服务器，用户可以通过浏览器与 LongWriter 模型交互。

3. 项目的配置文件介绍

项目的配置主要通过 requirements.txt 文件进行，该文件列出了项目运行所需的 Python 包。使用以下命令安装依赖：

pip install -r requirements.txt

在 train/ 目录下，可能还需要根据模型训练的需求配置 GPU 设备和训练参数。具体配置方法请参考该目录下的训练脚本。

在 evaluation/ 目录下，评估模型的性能时，可能需要配置 OpenAI API key，以便使用 GPT-4o 作为评估工具。配置方法在 eval_quality.py 文件中指定。

以上是 LongWriter 项目的目录结构、启动文件和配置文件的介绍。按照以上步骤，您可以顺利地部署和使用 LongWriter 项目。

LongWriter [ICLR 2025] LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs 项目地址: https://gitcode.com/gh_mirrors/lo/LongWriter