该项目是一个使用Transformer架构的文本生成模型，基于教师强迫策略进行训练。训练数据来源于LCCC_base对话数据集，采用预训练的300维字向量。模型配置包括15个注意力头，6层编码器，初始学习率为1e-4，batch_size为96。经过16个epoch的训练（约200万steps，耗时10天），模型能进行有效的文本生成和对话响应。
基于transformer的文本生成问题训练pipeline
main requirements
python 3.6
pytorch 1.6.0+cu101
项目说明
基于transformer的文本生成问题pipeline。（基于对话数据进行闲聊模型训练和测试）
训练方式为teacher forcing（基于下三角mask实现，具体可参考loss部分代码）。
模型训练
python train.py
推理
python inference.py
训练细节参考
训练数据（LCCC_base,来源：https://github.com/thu-coai/CDial-GPT）
初始学习率：1e-4
batch_size:96
nheads_transformer:15
embed_dim:300 （使用了预训练字向量，来源:https://github.com/Embedding/Chinese-Word-Vectors ，使用的字向量链接为: https://pan.baidu.com/s/1hJKTAz6PwS7wmz9wQgmYeg ）
encode_layers=6
训练效果预览
训练到16个epoch（大约200万+steps，耗时约10天）
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
