chao_666666的博客

完成 AgentLego 直接使用部分。完成 Lagent Web Demo 使用。

最后选用进行832轮对话的权重文件进行模型转换，会发现已经有些过拟合了，输入“你好”也只会输出“我是社会你超哥的小助手······”这一句话了。环境准备->数据集准备->模型准备->配置文件选择->使用配置文件训练->模型转换->模型整合->对话测试。

此处会发现茴香豆仍然存在一些缺点，会发现在多个回答中都参考了同一个文档并且没有进一步去查找知识库中的其他文档，导致最后生成的回答质量有一定缺陷，通过以下图可以发现，多次出现的文档《全球最大对冲基金桥水基金CEO达里奥》是在最先输入进入知识库的，可以推测知识库查找是按照顺序查找，找到符合的资料会导致后续文档的引用权重减少。进入web页面，传输属于自己的文件，此处进行输入大量投资领域资料，构建个人投资者问答助手。通过接受和拒答数据库，可以在群聊中更有针对性的回答问题，较少资源消耗。数据库向量化的过程应用到了。

RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。重点是可以构建外部知识库来完成问答，方便快捷，不用深入内部对模型进行微调，降低使用成本。

【代码】第二期书生浦语大模型训练营第二次作业。

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:智能体的未来巨大潜能：比尔盖茨深度文章《比尔盖茨：人工智能将彻底改变人们使用电脑的方式并颠覆软件行业》比尔盖茨：人工智能将彻底改变人们使用电脑的方式并颠覆软件行业模型部署方式与上面方法类似。

本报告阐述了InternLM2的训练过程，包括训练框架、预训练文本数据、预训练代码数据、预训练长文本数据和对齐数据。在创新技术上，针对强化学习后训练（RLHF）过程中遇到的偏好冲突，提出了条件在线RLHF方法，以协调不同的偏好。