问答机器人训练语料清洗

训练问答机器人，语料集的清洗是非常重要的，直接决定了模型的效果，甚至会影响模型的收敛。通过训练，模型把语料集的知识学会了，如果语料集质量不好，比如语料集存在答非所问，回答有语法错误等，模型不具备纠正这些错误的能力，而是把这些错误学会了，因此，模型输出有时就不像人话了。

>存在相同的提问不同的回答

训练语料集中存在多条相同的提问，但回答不同。LSTM网络通过训练，找到合适的权重，在提问与回答之间建立映射关系，当语料集存在多条相同的提问，但回答不同的对话组时，模型训练过程中，权重会在上面几条对话组中来回调整，loss值震荡，无法收敛。