纸上得来终觉浅 绝知此事要躬行

茴香豆是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了三阶段Pipeline的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。茴香豆特点。

github codespace很好用，丝滑、快速huggingface的space管理代码也很好用，自动编译、容器打包、发布一气呵成mindsearch很好用，效果超出预想。planner和searcher的交互丝滑、有效率。mindsearch内置搜索可解决很多通用问题，让agent的外挂API可以聚焦特定场景不重复造轮子效果于远远超出以前试用的各种开源Agent，具备实用价值。

InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。

注释：实验室提供的环境为虚拟化的显存，nvidia-smi是NVIDIA GPU驱动程序的一部分，用于显示NVIDIA GPU的当前状态，故当前环境只能看80GB单卡 A100 显存使用情况，无法观测虚拟化后30%或50%A100等的显存情况。也就是说，虽然使用的显存相同，但是cache可以容纳的kv数却多了4倍。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。也就是说，这个量化指的是cache中保存的数据量化，而不是模型权重的量化。

【代码】进阶岛 - 探索 InternLM 模型能力边界。

作为LLM的应用发展方向，Agent的应用潜力非常大Lagent是一个agent开发框架，可以快速的构筑agent应用Lagent已预置强有力的工具：搜索、地图、Python解释器参考官方例开发天气查询功能（高德API），让LLM获取实时天气信息，验证Agent开发外挂API的流程通过@tool_api注解，利用Python的注释即可自动将API的信息注入给LLM，非常方便验证效果相当好：可精确识别关键字并传递给agent的外挂API，并正确识别和组织返回信息（见文末）

遗憾的是，装完了才发现有opencompass/requirements/runtime.txt文件存在，直接就能依赖包安装好。在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。查看ceval的评测数据，每个文件夹内都是csv文件，涉及不同领域，共有55个csv文件。最终结果会把每个csv（领域）的评测结果都打印出来，还有6个平均值。程序启动后，会依次将所有55个csv都走一遍推理流程。漫长的执行，用了1581.46秒。

XTuner是低成本大模型训练工具箱，也是internLM全链条工具链中，微调工具的一环。XTuner支持与书生·浦语（InternLM）、Llama等多款开源大模型的适配，可执行增量预训练、指令微调、工具类指令微调等任务类型。硬件要求上，开发者最低使用消费级显卡便可进行训练，实现大模型特定需求能力。

RAG流行的一个重要原因是目前的LLM所能支持的上下文token数是受限的，不能把所有信息一起扔给LLM，所以要经过检索过程的把背景信息精选、精筛，借此提高回答的正确性。但如果上下文窗口超长，已经足够把几百个文档一股脑的塞入到大模型对话的窗口，并能完美的在其中检索到事实知识，那么还有必要做任何形式的外部索引与检索，来给大模型提供知识“外挂”（RAG）吗？第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考。给模型注入新知识的方式，可以简单分为几种方式，

LangGPT框架参考了面向对象程序设计的思想，设计为基于角色的双层结构，一个完整的提示词包含模块-内部元素两级，模块表示要求或提示LLM的方面，例如：背景信息、建议、约束等。内部元素为模块的组成部分，是归属某一方面的具体要求或辅助信息，分为赋值型和方法型。的简称，中文名为结构化提示词。LangGPT 是一个帮助你编写高质量提示词的工具，理论基础是我们提出的一套模块化、标准化的提示词编写方法论——结构化提示词。Prompt-> Modules -> Internal Elements（内部元素）

因为以前用过LMDeploy，所以本章的内容相对熟悉。另外，因为教程写的很详细保姆级，所以大多数情况直接复制执行命令即可。开发机的创建略过。

书生·浦语大模型全链路开源开放体系

请实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。