xinxiyinhe的博客

对长文档生成摘要，作为检索结果的补充上下文。

LLM RAG（检索增强生成）技术在实际应用中面临诸多挑战，涵盖技术实现、性能优化、安全合规等多个层面。

通过LLM判断查询类型（如事实类 vs 创意类），动态选择检索库或跳过RAG直接生成。：构建“摘要-细节”多级索引，先通过摘要筛选相关文档，再进行细粒度检索，减少计算开销。：使用LLM将用户问题重写为多版本（如关键词提取、逆向问题生成），覆盖更广检索范围。：结合蒙特卡洛树搜索（MCTS）与RAG，通过奖励模型评估检索路径，避免局部最优。：根据语义边界（如段落、代码块）分割文本，避免机械式固定长度分块，提升嵌入质量。：将图像、音频等通过多模态模型（如CLIP）编码为向量，支持跨模态检索。