leo0308的博客

现象： 运行qwen2:7b模型， 无论输入是什么， 输出都是无意义的GG。

想要把大模型在本地跑起来还是有一定门槛的， 并且模型众多，每个大模型的使用和配置都不同， 实在比较麻烦。Langchain是一个大模型模型的开源框架，核心是以pipeline的形式串联大模型应用构建的全流程， 使用它可以大幅简化大模型的应用开发流程。RAG是一种技术方法， 通过信息检索给大模型提供事实数据， 从而增强大模型生成的真实性， 可以理解为大模型的一个外挂知识库。所以总结一下， Langchain和Ollama就是2个非常重要的辅助工具， 使用他们可以非常便捷地实现RAG。