HuixiangDou 是群聊场景的 LLM 知识助手。群里人多口杂,机器人显然不应该答复所有消息,它的设计规则为:
-
无关内容不吭声——拒答
-
明确该答的,直接回复——检索
-
不能违反核心价值观——可靠
https://github.com/InternLM/HuixiangDou(觉得好用欢迎 star)
在上一篇文章中,我们用真实群聊数据测试,对比不同方法和调参,最终拒答 F1 score 达到 75.88。
本文介绍如何混用知识图谱和稠密检索,把 F1 进一步提升到 77.57。
以下是目前所有方法对比:
方法 |
F1 score |
备注 |
BCE+KG混合(本文) |
77.57 |
KG 权重约 20% |
BCE |
75.88 |
需配合特定 splitter |