基于AIGC构建本地知识库问答 - 文本切割粒度考量

粗粒度的文本被检索出来之后给大模型参考，大模型总会被文本中的无关信息干扰; 而细粒度的文本，检索出来的信息可能不全，缺少上下文信息，导致大模型没法给出正确答案。那么在工程中如何平衡切割文本的长短呢？

一、背景

使用AIGC构建本地知识库的其中一个步骤就是切割文本(chunk)，其中一个核心的参数便是控制文本切割的粒度，这直接关系到Q&A环节的回答质量。

粗粒度的文本被检索出来之后给大模型参考，大模型总会被文本中的无关信息干扰; 而细粒度的文本，检索出来的信息可能不全，缺少上下文信息，导致大模型没法给出正确答案。那么在工程中如何平衡切割文本的长短呢？

二、基本准则

首先，以你使用的Text模型的最大上下文Token为上限，比如使用GPT-4K模型，那么文本切分粒度天然限制就不能超过4K，大模型根本就无法接受超过最大Token限制的文本内容，这是上限！那么最小是多少？为了保证检索出来的信息是完整的，确保有足够的上下文，从以往的经验来看，不能少过50-100 Token吧，不然大模型也没办法给出准确的答案。

那么再100-大模型Token上限的这个范围，如何具体确定你的切割粒度？那这个又跟你的Q&A期望相关了。如果你是做检索类型的任务，期待查询的返回是500字以内的反馈，那么400-600的Token切割数量是合适的。如果是你是做总结类型的任务，那么切片要大一点比较好，比如500,1000Token数量，这样才能归纳总结的全面准确一点。

三、其它考量

• 考虑上下文：确保即使在细粒度的文本中，也要保存足够的上下文信息。例如，如果你选择句子为单位，那么可能考虑将前后的句子也加入，形成一个段落，以便为大模型提供上下文。

• 采用动态窗口：在检索时，可以采用动态的窗口大小，即根据检索到的关键信息动态调整文本切割的范围。这样可以确保即使在细粒度中也能提供足够的上下文。

结合多粒度策略：在检索或其他任务中，可以考虑同时使用多个文本粒度。例如，首先使用粗粒度获取大致的范围，然后在该范围内使用细粒度进一步检索。

四、总结

基于基本准则和其它考量因素，较好的办法是“调试”，通过调整切割文本粒度，验证问题得出答案的准确性，匹配适合你提供的知识域的切割粒度，即不同的知识域应该给予相匹配的文本切割粒度。