doccano与自然语言生成：从标注数据到文本生成模型训练
项目地址: https://gitcode.com/gh_mirrors/do/doccano 引言：构建自然语言生成的数据优势
你是否曾因缺乏高质量标注数据而导致文本生成模型效果不佳？是否在标注过程中花费大量时间却仍难以满足模型训练需求？本文将系统介绍如何利用doccano（文档标注工具）构建高质量文本生成训练数据集，从数据标注到模型训练的全流程解决方案，帮助你解决数据稀缺这一核心痛点。读完本文，你将掌握：
- 文本生成任务的标注策略与最佳实践
- 使用doccano进行多类型文本生成数据标注的详细步骤
- 标注数据的导出与格式转换技巧
- 基于标注数据训练文本生成模型的完整流程
- 提升标注效率的自动化工具配置方法
文本生成与数据标注的关系解析
文本生成任务的特殊标注需求
自然语言生成（Natural Language Generation, NLG）任务与传统分类、命名实体识别等任务在数据标注上有本质区别。传统任务通常只需要对输入文本添加标签，而文本生成任务需要同时处理输入（条件） 和输出（生成目标） 的标注关系。常见的文本生成场景及其标注特点如下：
| 任务类型 | 输入数据 | 输出数据 | 标注复杂度 | 典型应用 |
|---|---|---|---|---|
| 文本摘要 | 长文本 | 简短摘要 | ★★★☆☆ | 新闻摘要、论文摘要 |
| 机器翻译 | 源语言文本 | 目标语言文本 | ★★★★☆ | 多语言翻译 |
| 对话生成 | 对话历史 | 回复文本 | ★★★★☆ | 智能客服、聊天机器人 |
| 数据到文本 | 结构化数据 | 自然语言描述 | ★★★★★ | 天气预报、财务报告 |
| 问答系统 | 问题+上下文 | 答案文本 | ★★★☆☆ | 知识问答、FAQ系统 |
doccano的文本生成标注能力
doccano作为一款开源标注工具，虽然最初设计用于分类和序列标注任务，但通过灵活配置可以支持多种文本生成场景的数据标注。其核心优势在于：
- 支持序列到序列（Seq2Seq）标注模式：可同时标注输入文本和对应的生成目标
- 多用户协作标注：支持团队协作，提高标注效率和数据质量
- 丰富的导出格式：支持JSON、JSONL、CSV等多种格式，便于后续模型训练
- 自动化标注功能：可集成外部API实现预标注，减少人工工作量
- 自定义标签体系：可根据任务需求定义特殊标签，如生成质量评分、风格标签等
doccano标注环境搭建与项目配置
安装与初始化
使用以下命令从国内镜像仓库克隆并启动doccano：
# 克隆仓库
git clone https://gitcode.com/gh_mirrors/do/doccano.git
cd doccano
# 使用Docker快速启动
docker-compose up -d
# 创建管理员账户
docker-compose exec backend python manage.py createsuperuser
启动成功后，访问http://localhost:8000即可打开doccano界面，使用创建的管理员账户登录。
文本生成项目创建流程
-
创建新项目：登录后点击"Create Project"按钮，填写项目信息
- 项目名称：建议包含任务类型和领域，如"医学文献摘要生成"
- 描述：简要说明项目目标和数据特点
- 任务类型：选择"Sequence to sequence"（序列到序列）
-
配置项目参数：进入项目设置页面，配置适合文本生成任务的参数
- 启用"Allow multiple annotations per example"：支持对同一输入标注多个可能的生成结果
- 配置"Example display format"：自定义输入文本的显示样式
- 设置"Annotation guideline"：详细说明标注规范，包括生成质量要求、格式约束等
-
定义标签体系：根据具体任务需求创建标签，文本生成任务常用标签类型：
- 质量标签：如"high-quality"、"low-quality"、"needs_revision"
- 风格标签：如"formal"、"informal"、"technical"
- 内容标签：如"contains_fact"、"contains_opinion"、"incomplete"
文本生成数据标注实战指南
数据导入与预处理
- 准备输入数据：文本生成任务的数据通常包含输入（条件）文本，保存为JSONL格式：
{"text": "输入文本1"}
{"text": "输入文本2"}
{"text": "输入文本3"}
- 导入数据：通过项目的"Dataset"页面导入准备好的JSONL文件
- 点击"Actions" → "Import Dataset"
- 选择文件类型为"JSON"
- 上传文件并确认导入
序列到序列标注操作详解
doccano的序列到序列标注界面分为左右两栏，左侧为输入文本，右侧为生成目标编辑区域。基本标注流程如下：
- 查看输入文本：左侧面板显示待标注的输入文本（如需要生成摘要的长文本）
- 输入生成目标：在右侧"Annotation"区域输入对应的生成文本（如摘要）
- 添加标签：如需要对生成结果进行分类，可选择相应标签
- 提交标注：完成后点击"Submit"保存，系统自动跳转至下一条数据
标注技巧：
- 使用快捷键提高效率：
Ctrl+Enter提交标注，Ctrl+Arrow切换前后数据 - 对于长文本，使用右侧编辑区域的格式化工具保持生成文本的可读性
- 对不确定的标注，可使用"Comment"功能添加疑问，供团队讨论
标注质量控制策略
为确保标注数据质量，建议采取以下措施：
- 制定详细标注指南：明确生成文本的长度限制、格式要求、内容覆盖范围等
- 双盲标注与一致性检查：重要数据由两名标注员独立标注，计算一致性分数
- 定期抽样检查：项目管理员定期抽查标注结果，及时发现标注偏差
- 标注员培训：开始前进行标注培训，统一标注标准
自动化标注：提升文本生成数据标注效率
自动标注功能原理
doccano的自动标注功能通过调用外部API实现预标注，其核心原理如下：
配置自动标注服务
以集成文本摘要API为例，配置步骤如下：
-
进入自动标注设置：项目页面 → "Settings" → "Auto Labeling" → "Create"
-
选择模板：根据API类型选择"Custom REST Request"
-
配置请求参数：
- URL: API端点地址（如
http://your-summarization-api.com/generate） - Method: 选择"POST"
- Headers: 添加必要的认证信息（如
Authorization: Bearer YOUR_TOKEN） - Body: 设置请求体模板：
{"text": "{{ text }}"}
- URL: API端点地址（如
-
配置响应映射：使用Jinja2模板将API响应转换为doccano格式：
[
{
"text": "{{ input.summary }}"
}
]
- 测试与启用：点击"Test"按钮验证配置，确认无误后启用自动标注功能
自动化标注的质量控制
自动标注生成的结果需要人工审核和修正，建议采用以下工作流程：
- 对所有自动标注结果标记"auto-generated"标签
- 优先审核低置信度结果（如API返回置信度分数低于阈值的结果）
- 定期评估自动标注准确率，当准确率低于设定阈值时重新训练或调整API参数
- 建立自动标注错误类型统计，针对性改进标注流程
标注数据导出与格式转换
支持的导出格式与选择策略
doccano提供多种导出格式，不同格式适用于不同的模型训练框架：
| 导出格式 | 特点 | 适用框架 | 文本生成任务适用性 |
|---|---|---|---|
| JSON | 结构化数据，易于解析 | TensorFlow, PyTorch | ★★★★☆ |
| JSONL | 每行一个JSON对象，适合大文件 | Hugging Face Transformers | ★★★★★ |
| CSV | 表格形式，适合简单数据 | 通用 | ★★★☆☆ |
| TSV | 制表符分隔，避免逗号冲突 | 通用 | ★★★☆☆ |
对于文本生成任务，JSONL格式通常是最佳选择，因为：
- 支持大型数据集的流式处理
- 每行独立，便于并行处理
- 保留完整的标注信息和元数据
导出操作步骤
-
进入导出页面：项目页面 → "Dataset" → "Actions" → "Export Dataset"
-
选择导出选项：
- 格式：选择"JSONL"
- 导出范围：可选择"All examples"或"Confirmed only"（仅确认的标注）
- 包含信息：勾选需要导出的元数据（如标注者、标注时间、标签等）
-
执行导出：点击"Export"按钮，系统将生成并下载文件
导出的JSONL文件结构示例（文本摘要任务）：
{
"id": 1,
"text": "原始长文本内容...",
"annotations": [
{
"text": "生成的摘要文本...",
"labels": ["high-quality", "formal"]
}
],
"meta": {
"annotator": "user1",
"annotation_time": "2025-09-14T10:30:00Z"
}
}
模型训练格式转换工具
导出的标注数据通常需要转换为模型训练专用格式，以下是常用的转换工具和方法：
- 自定义Python脚本转换：
import json
from datasets import Dataset
def convert_doccano_to_hf(doccano_file, output_dir):
"""将doccano JSONL格式转换为Hugging Face Dataset格式"""
data = []
with open(doccano_file, 'r', encoding='utf-8') as f:
for line in f:
example = json.loads(line)
# 提取输入文本和生成目标
input_text = example['text']
# 假设每个示例只有一个生成目标
target_text = example['annotations'][0]['text']
data.append({
'input_text': input_text,
'target_text': target_text
})
# 转换为Hugging Face Dataset并保存
dataset = Dataset.from_list(data)
dataset.save_to_disk(output_dir)
return dataset
# 使用示例
dataset = convert_doccano_to_hf('exported_data.jsonl', 'summarization_dataset')
- 使用doccano-utils库：社区开发的专用转换工具
# 安装工具
pip install doccano-utils
# 转换为Hugging Face格式
doccano-convert \
--input-path exported_data.jsonl \
--output-path hf_dataset \
--task seq2seq \
--format huggingface
基于标注数据的文本生成模型训练
数据集准备与划分
使用标注数据训练模型前，需要进行合理的数据划分和预处理：
from datasets import load_from_disk
import numpy as np
# 加载数据集
dataset = load_from_disk('summarization_dataset')
# 划分训练集、验证集和测试集（80%/10%/10%）
splits = dataset.train_test_split(test_size=0.2, seed=42)
train_dataset = splits['train']
temp_dataset = splits['test']
splits = temp_dataset.train_test_split(test_size=0.5, seed=42)
validation_dataset = splits['train']
test_dataset = splits['test']
print(f"训练集样本数: {len(train_dataset)}")
print(f"验证集样本数: {len(validation_dataset)}")
print(f"测试集样本数: {len(test_dataset)}")
模型选择与训练流程
基于标注数据训练文本生成模型的完整流程如下：
- 选择预训练模型：根据任务类型和语言选择合适的基础模型
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
# 选择英文摘要模型（可根据实际需求替换）
model_name = "facebook/bart-base"
# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
- 数据预处理：将文本转换为模型输入格式
def preprocess_function(examples):
# 定义输入输出最大长度
max_input_length = 512
max_target_length = 128
# 处理输入文本
inputs = [f"summarize: {text}" for text in examples["input_text"]]
model_inputs = tokenizer(inputs, max_length=max_input_length, truncation=True, padding="max_length")
# 处理目标文本
labels = tokenizer(examples["target_text"], max_length=max_target_length, truncation=True, padding="max_length")
# 设置标签（将填充部分设为-100，避免计算损失）
labels["input_ids"] = [
[(l if l != tokenizer.pad_token_id else -100) for l in label] for label in labels["input_ids"]
]
model_inputs["labels"] = labels["input_ids"]
return model_inputs
# 应用预处理函数
tokenized_train = train_dataset.map(preprocess_function, batched=True)
tokenized_validation = validation_dataset.map(preprocess_function, batched=True)
- 配置训练参数：
from transformers import Seq2SeqTrainingArguments, Seq2SeqTrainer
training_args = Seq2SeqTrainingArguments(
output_dir="./summarization_model", # 模型保存路径
evaluation_strategy="epoch", # 按epoch评估
learning_rate=2e-5, # 学习率
per_device_train_batch_size=16, # 训练批大小
per_device_eval_batch_size=16, # 评估批大小
weight_decay=0.01, # 权重衰减
save_total_limit=3, # 最多保存3个模型
num_train_epochs=10, # 训练轮数
predict_with_generate=True, # 评估时生成文本
fp16=True, # 使用混合精度训练（如支持GPU）
)
- 训练模型：
trainer = Seq2SeqTrainer(
model=model,
args=training_args,
train_dataset=tokenized_train,
eval_dataset=tokenized_validation,
)
trainer.train()
模型评估与优化
模型训练完成后，需要进行全面评估并根据结果优化：
- 自动评估指标：
import evaluate
rouge = evaluate.load("rouge")
def compute_metrics(eval_pred):
predictions, labels = eval_pred
decoded_preds = tokenizer.batch_decode(predictions, skip_special_tokens=True)
# 将标签中的-100替换为填充 token
labels = np.where(labels != -100, labels, tokenizer.pad_token_id)
decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=True)
# 计算ROUGE分数
result = rouge.compute(predictions=decoded_preds, references=decoded_labels, use_stemmer=True)
# 提取结果摘要
prediction_lens = [np.count_nonzero(pred != tokenizer.pad_token_id) for pred in predictions]
result["gen_len"] = np.mean(prediction_lens)
return {k: round(v, 4) for k, v in result.items()}
# 使用测试集评估
predictions, labels, _ = trainer.predict(tokenized_test)
metrics = compute_metrics((predictions, labels))
print(metrics)
-
人工评估：随机抽取测试集样本，从以下维度进行人工评分：
- 内容相关性（1-5分）：生成内容与输入的相关程度
- 流畅性（1-5分）：生成文本的语言自然度
- 完整性（1-5分）：是否包含所有关键信息
- 一致性（1-5分）：是否与输入信息一致，无矛盾
-
模型优化方向：
- 增加标注数据量，特别是低资源领域
- 采用数据增强技术，如回译、同义词替换等
- 尝试不同的预训练模型，或使用更大规模的模型
- 调整训练超参数，如学习率调度、批大小等
- 采用模型融合技术，结合多个模型的输出
高级应用：从标注到部署的完整流程
标注数据的版本控制
随着项目推进，标注数据会不断积累和更新，建议采用以下版本控制策略：
- 为每个标注阶段创建时间戳命名的导出文件（如
20250914_summarization_data.jsonl） - 维护数据变更日志，记录每次导出的主要变化（如新标注的样本数、标注准则变更等）
- 使用DVC（Data Version Control）工具管理大规模标注数据集
# 初始化DVC
dvc init
# 添加数据文件
dvc add data/20250914_summarization_data.jsonl
# 提交更改
git add data/20250914_summarization_data.jsonl.dvc .gitignore
git commit -m "Add summarization dataset v1.0"
持续标注与模型迭代流程
建立"标注-训练-反馈"的闭环迭代流程：
具体实施步骤：
- 从初始标注数据训练基线模型
- 使用模型在未标注数据上预生成结果
- 识别模型表现差的样本（难例）进行优先标注
- 将新标注数据合并到训练集中，重新训练模型
- 重复迭代，直至模型性能达到预期目标
模型部署与应用
训练完成的文本生成模型可通过多种方式部署：
- API服务部署：
from fastapi import FastAPI
from pydantic import BaseModel
from transformers import pipeline
app = FastAPI()
# 加载模型
summarizer = pipeline(
"summarization",
model="./summarization_model",
tokenizer=tokenizer
)
# 定义请求体格式
class SummarizationRequest(BaseModel):
text: str
max_length: int = 128
min_length: int = 30
# 定义API端点
@app.post("/summarize")
def summarize(request: SummarizationRequest):
result = summarizer(
request.text,
max_length=request.max_length,
min_length=request.min_length,
do_sample=False
)
return {"summary": result[0]["summary_text"]}
- 部署为Web应用：使用Gradio或Streamlit快速创建交互界面
import gradio as gr
from transformers import pipeline
# 加载模型
summarizer = pipeline("summarization", model="./summarization_model")
def summarize_text(text, max_length=128):
result = summarizer(text, max_length=max_length, min_length=30, do_sample=False)
return result[0]["summary_text"]
# 创建Gradio界面
iface = gr.Interface(
fn=summarize_text,
inputs=[
gr.Textbox(label="输入文本", lines=10),
gr.Slider(label="摘要最大长度", minimum=50, maximum=300, value=128)
],
outputs=gr.Textbox(label="生成摘要", lines=5),
title="文本摘要生成器"
)
iface.launch()
总结与展望
本文详细介绍了使用doccano构建文本生成训练数据集的完整流程，从工具安装、项目配置、数据标注到模型训练与部署。关键要点包括：
- 文本生成任务需要特殊的标注策略，同时处理输入条件和生成目标
- doccano通过序列到序列标注模式和自动化工具支持高效文本生成数据标注
- 标注数据的质量直接影响模型性能，需重视标注指南和质量控制
- 建立"标注-训练-反馈"的闭环迭代流程是提升模型性能的关键
- 合理选择导出格式和转换工具，确保标注数据与模型训练框架兼容
未来发展方向：
- doccano将进一步增强对文本生成任务的原生支持
- 结合大语言模型实现更智能的自动化标注
- 多模态生成任务（如图文生成）的标注工具发展
- 标注效率和质量的自动评估指标体系建设
通过本文介绍的方法，你可以系统解决文本生成任务的数据稀缺问题，构建高质量训练数据集，从而训练出性能更优的文本生成模型。无论是学术研究还是工业应用，高质量的标注数据都是成功的关键基础。
附录：常见问题与解决方案
标注效率问题
问题：标注速度慢，难以满足大规模数据需求。
解决方案：
- 充分利用自动标注功能，配置外部API预生成结果
- 采用主动学习策略，优先标注模型难例样本
- 建立标注团队，实施众包标注模式
- 开发针对特定任务的标注辅助工具，如模板填充、短语库等
标注一致性问题
问题：不同标注员对同一输入生成不同的目标文本。
解决方案：
- 制定详细的标注指南，包括生成目标的长度、风格、内容要求等
- 提供充足的示例，覆盖不同场景和边界情况
- 定期组织标注员培训和校准会议
- 使用标注一致性指标（如BLEU、ROUGE）量化评估标注差异
- 对争议样本进行集体讨论，达成共识
数据格式转换问题
问题：导出的标注数据与模型训练框架不兼容。
解决方案：
- 使用本文提供的转换脚本，将JSONL格式转换为Hugging Face Dataset格式
- 自定义转换函数，提取所需字段
- 使用doccano-utils等开源工具进行格式转换
- 查看目标框架的文档，了解其支持的数据格式要求
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
