自然语言处理:第六十章 text2vec 如何选择 chunksize 和 splitter？

本人项目地址大全：Victor94-king/NLP__ManVictor: 优快云 of ManVictor

项目地址：HuixiangDou/README_zh.md at main · InternLM/HuixiangDou

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

• 对 text2vec 来说，chunksize 选多大合适？
• 应该选择哪种 splitter ？
• BCE 还是 BGE ？

面对这些 RAG 问题，本文根据 text2vec 模型原理做假设，并用 HuixiangDou 真实数据进行验证，最终给出 chunksize 上下界。

本文认为关键是让 tokenize 后的长度和模型输入（如 512）对齐，以发挥出模型完整编码能力。而 chunksize 只是 splitter 的附属选项。

相对于默认参数，精细调参可以改善约 2% 的 F1 指标；而用错 chunksize 可能导致 10% 下降。

相关测试数据、代码和说明文档已开源，如果对你有帮助，欢迎 star！<