LongWriter 使用教程

LongWriter 使用教程

LongWriter [ICLR 2025] LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs 项目地址: https://gitcode.com/gh_mirrors/lo/LongWriter

1. 项目介绍

LongWriter 是一个基于 GLM-4 和 Meta-Llama-3.1 模型开发的开源项目，旨在实现长达 10,000+ 字的文本生成。它通过利用长文本上下文，使得生成的文本更加连贯和丰富。LongWriter 的核心是一个高效的文本生成引擎，能够在短时间内生成高质量的文本内容，适用于多种应用场景，如自动写作、内容生成等。

2. 项目快速启动

在开始使用 LongWriter 前，请确保您的环境中已安装了以下依赖：

pip install transformers>=4.43.0

接下来，您可以通过以下代码快速启动 LongWriter：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained("THUDM/LongWriter-glm4-9b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("THUDM/LongWriter-glm4-9b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")
model.eval()

# 生成文本
query = "编写一篇10000字的中国旅游指南"
response, history = model.chat(tokenizer, query, history=[], max_new_tokens=32768, temperature=0.5)
print(response)

请确保在运行代码前，您的环境已正确配置了 CUDA。

3. 应用案例和最佳实践

应用案例

以下是 LongWriter 生成的一段爱情故事的开头：

在英格兰乡村的连绵起伏的山丘中，爱德华·阿什伍德勋爵的宏伟庄园是优雅和 sophistication 的灯塔。庄园的广阔，高耸的尖塔和宽敞的花园，是几个世纪财富和权力的见证。阿什伍德家族，以其高贵的血统和无懈可击的礼仪，一直是当地社区的支柱。宏伟的大厅里弥漫着抛光木材和丰富织物的香气，回荡着仆人们满足主人需求的柔和嗡嗡声。

最佳实践

• 在生成长文本时，适当调整 max_new_tokens 参数以获取期望的输出长度。
• 使用 temperature 参数来控制文本生成的多样性。

4. 典型生态项目

目前，LongWriter 可以与以下项目配合使用，以实现更广泛的应用：

• transformers: 用于加载和运行 LongWriter 模型的核心库。
• FlashAttention: 提供高效的注意力机制实现，用于加速模型训练。

通过以上介绍，您应该已经对 LongWriter 有了一个基本的了解，并可以开始尝试使用它来生成高质量的文本内容了。

LongWriter [ICLR 2025] LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs 项目地址: https://gitcode.com/gh_mirrors/lo/LongWriter