当前大模型落地几种方式

当前大模型落地几种方式

1.RAG增强式文本检索

基本流程是，先对本地的文件进行分割向量化，构建本地的向量知识库，用户的提问时和向量知识库进行匹配，得到最优答案，然后再调用大模型去进行总结归纳及回复。关键点在文件的分割，同类内容的要放在一块，实施的难点是文件的整理，整理的越细致质量高，回复效果越好。当前主流的工具开源的有ragflow、dify，或者敲代码；常用的场景包括文本搜索、智能客服、内容推荐等。

2.PROMPT提示词工程

就是我们在用大模型时给他加的一些说明，这块为何说是工程呢，要用好能发挥很大的作用，并且用途非常广，上面的RAG，还有微调，在用大模型回答时都需要提示词。

3.分类

利用大模型或小模型完成对自然语言理解和分类，比如情感分析，分析是负面还是正面，意图识别，分析用户的提问的类别，这些现在的大模型基本满足要求，足够大的模型效果好点，对于非常垂直领域的，如果模型识别不好，我们可以选择大模型如1.5B的或者BERT小模型，然后整理出本行业的数据内容，进行微调训练，能达到很好的效果。

4.生成类

这块是当前用的最多的，尤其在Deepseek出来后迎来了爆发期，比如书写文章、图生文或文生图、文生视频，这块基本利用的大模型的能力在进行生成，一般微调的不多，如果是特别垂直领域，大模型没法满足的，可以整理数据集，选取合适模型进行微调训练、强化学习等，提高模型的效果。

最后说明

在实际运用中，以上几种可以独立使用，更多是需要互相的关联使用、交叉使用、或者与我们传统的逻辑规则（如业务逻辑API接口）组合起来，才能解决实际的复杂场景。如coze、dify都是这样的工具，可以通过定制工作流、智能体，把复杂问题拆解、比较、组合，然后得到最优解。
ps：对于模型训练，一般采用的有预训练PT、监督微调训练SFT、强化学习（如rm、PPO、DPO、KTP），基于原有的基础模型、现有的数据集进行微调，训练方法有lora和qlora等。