weixin_39291058的博客

研究评测可以帮助我们更好地规划大型语言模型未来的发展，并预防未知和潜在的风险。随着大型语言模型的不断演进，其能力也在不断增强。通过合理科学的评测机制，我们能够从进化的角度评估模型的能力，并提前预测潜在的风险，这是至关重要的研究内容。

选择镜像Cuda12.2-conda；选择10% A100*1GPU；点击“立即创建”。

研究评测对于我们全面了解大型语言模型的优势和限制至关重要。尽管许多研究表明大型语言模型在多个通用任务上已经达到或超越了人类水平，但仍然存在质疑，即这些模型的能力是否只是对训练数据的记忆而非真正的理解。例如，即使只提供LeetCode题目编号而不提供具体信息，大型语言模型也能够正确输出答案，这暗示着训练数据可能存在污染现象。其次，研究评测有助于指导和改进人类与大型语言模型之间的协同交互。考虑到大型语言模型的最终服务对象是人类，为了更好地设计人机交互的新范式，我们有必要全面评估模型的各项能力。

可以感知环境中的动态条件。能采取动作影响环境。能运用推理能力理解信息、解决问题、产生推断、决定动作。Lagent作为一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。支持多种智能体范式。（如 AutoGPT、ReWoo、ReAct）支持多种工具。（如谷歌搜索、Python解释器等）本节中，我们将基于 Lagent 自定义一个工具。

LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。LMDeploy开发了Continuous Batch，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算kernel等重要特性。InternLM2推理性能是vLLM的 1.8 倍。•LMDeploy支持权重量化和k/v量化。4bit模型推理效率是FP16下的2.4倍。

在本节重点学习了模型训练过程中的种种细节内容，包括了模型训练中的各个参数以、权重文件的选择方式以及模型续训的方法。

微调是指在已经预训练好的大型语言模型基础上，使用特定的数据集进行进一步的训练，使模型适应特定任务或领域。微调主要目的是，完成知识注入、指令对齐。在大模型应用中，指令微调已成为预训练大模型在实际业务应用最重要的方式。许多垂直领域模型，都是在预训练模型的基础上，通过针对性的指令微调，可以更好地适应最终任务和对齐用户偏好。

3.从网络上搜关于汤晓鸥老师的生平和各种相关信息，整理出一篇《汤晓鸥文集》，pdf格式。完成不少于 400 字的笔记 + 线上茴香豆助手对话截图(不少于5轮)在 InternLM Studio 上部署茴香豆技术助手，已完成。在茴香豆 Web 版中创建自己领域的知识问答助手，已完成。4.将《汤晓鸥文集》文件，通过茴香豆web页面上传。1.创建知识库bbj_doudou;6.跟茴香豆助手进行了对话。5.简单设置了一下正反例；2.进入新创建的知识库;

RAG（Retrieval Augmented Generation）是一种结合了检索（Retrieval）和生成（Generation）的技术，旨在通过利用外部知识库来增强大型语言模型（LLMs）的性能。它通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、更丰富的回答。茴香豆是一个基于LLMs的领域知识助手，由书生浦语团队开发的开源大模型应用。• 专为即时通讯（IM）工具中的群聊场景优化的工作流，提供及时准确的技术支持和自动化问答服务。

浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色.自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。

创建 Intern Studio 开发机，通过 Modelscope 下载 InternLM2-Chat-1.8B 模型，完成 Client Demo 的部署和交互。

八戒-Chat-1.8B、Chat-嬛嬛-1.8B、Mini-Horo-巧耳 均是在第一期实战营中运用 InternLM2-Chat-1.8B 模型进行微调训练的优秀成果。其中，八戒-Chat-1.8B 是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为 Roleplay-with-XiYou 子项目之一，八戒-Chat-1.8B 能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。

73年前，“机器思维”的概念第一次被计算机科学之父艾伦·图灵（Alan Turing）提出。73年后，AI历经了数十年的不断进化迭代，随着ChatGPT的问世，开启了人类图灵测试的史诗级大幕。