putaolove的博客

如附图二所示，给定一个查询(Query)，RAG从一个垂直领域知识库(图中向量化后的“Vector Database”)中检索(Retrieve)与查询内容相关的文档或段落(Context，简称“上下文”)，并将查询信息(Query)与检索到的上下文信息(Context)进行组合转化成LLM的“提示词”((Prompt)，由LLM生成(Generate)答案(Response)。其中，最主要的挑战来自知识图谱的构建(需要随着专业领域知识的动态变化而动态构建)及其所引致的计算资源的消耗与运维成本的开销。

GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。