weixin_42567071的博客

我们可以看出InternLM2.5将输入’Compute (3+5)*2’根据提供的function拆分成了"加"和"乘"两步，第一步调用function add实现加，再于第二步调用function mul实现乘，再最终输出结果16.此时代表我们成功地使用本地API与大模型进行了一次对话，如果切回第一个终端窗口，会看到如下信息，这代表其成功的完成了一次用户问题GET与输出POST。新开一个窗口查看gpu占用情况，约为12G，对比默认的cache-max-entry-count 0.8 少占用了8G左右。

接下来构建自己的智能体实现一个调用 MagicMaker API 以完成文生图的功能。

ps：这个数据集是复制电子书的，所以上面会有一些乱码和符号，需要自己清理一下，否则模型也是回答不出来。运行脚本，看看RAG技术后模型输出是否有认识xtuner。这样使用时服务器即会自动使用已有资源，无需再次下载。模型居然认为xtuner是一个音乐播放器。整了点医学知识后，回答就专业很多。模型回答的很随意，看着像瞎编。运行脚本，看模型输出效果。模型给出了我们想要的答案。现在从openxlab的。再次部署模型，并访问。

打开 opencompass文件夹下configs/models/hf_internlm/的hf_internlm2_chat_1_8b.py ,贴入以下代码。上图就是internlm2-chat-1.8b 模型在 ceval 数据集上的性能。新建文件夹 opencompass用于存放课程相关文件。从27号测到28号，等待十几个小时后，测评终于完成了。解压完成，目录下会出现一个data文件夹。看到这行就说明一切正常，开始评测。

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。(由于前面的课程我把端口映射改成7860，如果没改的话是默认8501)打开浏览器，访问 http://localhost:7860。漫长的安装终于完成，验证一下安装结果。现在经过微调后模型已对自我有了认知。直接修改脚本文件第18行。漫长的训练终于完成了。

安装tmux，tmux可以让在用户断开服务器连接后继续运行程序。在左下角的系统提示输入以下提示词，让模型变成一个提示词生成专家。创建tmux session 后激活conda环境。部署internlm2-chat-1.8b模型。将系统生成的提示词再次填入左下角的系统提示。创建文件夹langgpt用于存放项目文件。按ctrl+B D退出tmux界面。输入以下内容让模型帮我们编写提示词。可以看到模型对比浮点数字时表现正常。输入以下代码测试部署是否成功。接下来部署前端与模型交互界面。创建chat_ui.py。

在浏览器上访问 http://localhost:6006/ 体验internVL2-2B。在浏览器上访问 http://localhost:6006/ 体验xcomposer。对比xcomposer，internVL2-2B不知道就是不知道，不会编个答案。创建requirements.txt，写入依赖包。将以下代码复制到cli_demo.py中。因为依赖前面已经安装过了，所以直接部署。创建文件夹DEMO存放课程相关的文件。创建cli_demo.py。然后就可以DEMO，启动。部署xcomposer。

https://internlm.intern-ai.org.cn/https://github.com/InternLM/InternLM卓越的推理性能：在数学推理方面取得了同量级模型最优精度，超越了 Llama3 和 Gemma2-9B。有效支持百万字超长上下文：模型在 1 百万字长输入中几乎完美地实现长文“大海捞针”，而且在 LongBench 等长文任务中的表现也达到开源模型中的领先水平。 可以通过 LMDeploy 尝试百万字超长上下文推理。更多内容和文档对话 demo 请查看这里。工具调用能

书生浦语大模型实战营第三期

作业2：https://github.com/xiaomile/InternLM-homework/tree/main/%E4%BD%9C%E4%B8%9A1。作业3：https://github.com/xiaomile/InternLM-homework/tree/main/%E4%BD%9C%E4%B8%9A2。作业4：https://github.com/xiaomile/InternLM-homework/tree/main/%E4%BD%9C%E4%B8%9A3。

有部分第三方功能,如代码能力基准测试 Humaneval 以及 Llama格式的模型评测,可能需要额外步骤才能正常运行，如需评测，详细步骤请参考。例如基座模型评测的时候需要给一个instruct（即给个格式，让大语言模型按照格式回答），对话模型则直接像人一样提问和回答就好了。主观评测：对一些主管的问题，如诗歌的谁写的更优，这种评测要做自动化的则需要用模型（如chatgpt）去评测模型。客观评测：无论模型怎么回答，只要能从回答中提取到我们想要的关键词，那就是正确的。进行全面的模型测试。

1、将训练好的模型在特定的软硬件环境中启动的过程，使模型能够接收输入并返回预测效果2、为了满足性能和效率的需求，常常需要对模型进行优化，例如模型压缩和硬件加速LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。

LLM下游应用中，增量预训练和指令跟随是经常会用到的两种微调模式傻瓜式：以配置文件的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调轻量级：对于7B参数量的LLM，微调所需的显存仅为8GB，满足大部分消费级显卡基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐此时，我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集，即几个 .jsonL，也传到服务器上。

LangChain 框架是一个开源工具，通过为各种LLM提供通用的接口来简化应用程序的开发流程，帮助开发者自由构建LLM应用LangChain的核心模块：链（Chains）：将组件组合实现端到端应用，通过一个对象封装实现一系列LLM操作例如检索问答链，覆盖实现了RAG的全部流程实例化一个基于 InternLM 自定义的 LLM 对象llm.predict("你是谁")

大模型定义：人工智能领域中参数量巨大，拥有庞大计算能力和参数规模的模型InternLM支持在数千个GPU集群上进行训练，并在单个GPU上进行微调并保持卓越的性能优化。在1024个GPU上训练时，可以实现近90%的加速效率Lagent是一个轻量级，开源的大语言模型的智能体框架，用户可以快速地将一个大语言模型转变成多种类型的智能体，并提供了一些典型工具为大语言模型赋能优势：1、为用户打造图文并茂的专属文章2、设计了高效的训练策略，为模型注入海量的多模态概念和知识数据，赋予其强大的图文理解和对话能力。

随着大模型的发布迭代，大模型变得越来越智能，在使用大模型的过程当中，遇到极大的数据安全与隐私挑战。在利用大模型能力的过程中我们的私密数据跟环境需要掌握自己的手里，完全可控，避免任何的数据隐私泄露以及安全风险。基于此，我们发起了DB-GPT项目，为所有以数据库为基础的场景，构建一套完整的私有大模型解决方案。此方案因为支持本地部署，所以不仅仅可以应用于独立私有环境，而且还可以根据业务模块独立部署隔离，让大模型的能力绝对私有、安全、可控。