wengad的博客

MindSearch 是一个由上海人工智能实验室推出的开源 AI 搜索引擎框架,具有与 Perplexity.ai Pro 相同的性能。本文以 InternStudio 算力平台为例，来部署 CPU-only 的 MindSearch。

基于Cuda12.2-conda镜像，在30% A100下实现。

LlamaIndex是一个数据框架，它主要用于连接大型语言模型（LLMs）与外部数据源，例如API、PDF文档、SQL数据库等。这个框架的设计目的是为了增强LLM的能力，使其能够理解和生成更准确、更有上下文关联的文本，尤其是在涉及私人数据或特定领域知识的情况下。LlamaIndex通过创建索引结构来组织和访问数据，这样可以更高效地检索相关信息并将其提供给LLM。这些索引可以是列表索引、向量索引、树索引或关键词索引等，具体取决于数据类型和需求。

LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，本文采用LangGPT 进行结构化提示词设计，让internlm2-chat-1_8b能够正确比较浮点数。（注意：估计1.8B的对话能力比较弱，别把模型带偏了：））本文使用书生浦语的开发机环境InternStudio来部署模型与实验。

这个是internLM的3期训练营的通关笔记。

此时会有弹窗提示输入ssh链接命令，回车后还会让我们选择要更新那个ssh配置文件，默认就选择第一个就行（如果你有其他需要的话也可以新建一个ssh配置文件）。点击VSCode侧边栏的“Run and Debug”（运行和调试），然后点击“Run and Debug”（开始调试）按钮，或者按F5键。打开vscode，点击左侧的extensions菜单，在搜索框中输入remote-ssh,选择第一个，点击“install”点击代码文件的左侧，要打断点的行，点击后，出现红点，即可。选择后，执行一遍，确认可以运行。

InternStudio 是大模型时代下的云端算力平台。基于 InternLM 组织下的诸多算法库支持，为开发者提供开箱即用的大语言模型微调环境、工具、数据集，并完美兼容 🤗 HugginFace 开源生态。端口映射是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。那么我们使用开发机为什么要进行端口映射呢？

模型会下载到 /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k。使用30% A100 来运行chatglm3模型，采用lmdeploy来启动。启动后，运行在127.0.0.1的23333端口，使用的是fastAPI服务器。直接采用lmdeploy chat启动并对话交互。注：具体的API可以访问23333端口来查看。requirenments.txt 内容。用于从魔搭下载chatglm3模型。通过curl来方式这个api。

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。

幻觉：模型因为训练数据的不能全覆盖性，导致模型可能会生成虚拟信息时效性：用于模型训练的数据过时了，无法反馈最新的趋势和信息等。可靠性：当模型遇到复杂任务式，可能出现错误输出，无法被信任智能体定义智能体能够感知环境中的动态条件，进而能采取动作影响环境，同时能够运用推理能力理解信息、解决问题、生成推断、决定的动作。智能体的范式：AutoGPT、ReWoo、ReAct这里我们使用天气查询API,为了获得稳定的天气查询服务，我们首先要获取 API KEY。

同样，在https://studio.intern-ai.org.cn/console/instance上做实验，使用50%的A100来实验。

使用书生·浦语的XTuner对书生·浦语 LLM 1.8B模型进行微调，实现其自我认知的改造；并将微调合并后的模型提交到openxlab仓库中；基于书生·浦语LLM1.8B，训练一个llava模型，能够对图片进行解读（注意不是生成图片）

茴香豆（介绍、特点、架构、构建步骤）茴香豆实践演示。

整个过程，建议直接使用0.5卡的，实验比较快一些。通过这次实战，熟悉了studio平台的使用，熟悉了相应的工具，收获蛮大。

全链路的开源体系，是覆盖MLOps的全生态的链路的工具链，支持从数据获取、预训练、微调、部署、模型评测、场景应用支撑的工具链条。在github上的项目：AI工程也是工欲善其事，必先利其器的一个大工程，能够从某种程度、某个方面降低人工智能工程化的门槛，相信业内也会出现类似的更多、更好的平台，为人工智能的市场化应用提供有力支撑。