2303_77267815的博客

原创 MindSearch 部署到Hugging Face Space

按照教程，将 MindSearch 部署到 HuggingFace 并美化 Gradio 的界面，并提供截图和 Hugging Face 的Space的链接。首先，我们打开 https://account.siliconflow.cn/login 来注册硅基流动的账号（如果注册过，则直接登录即可）。由于硅基流动 API 的相关配置已经集成在了 MindSearch 中，所以我们可以直接执行下面的代码来启动 MindSearch 的后端。浏览器会自动在新的页面打开一个web版的vscode。

原创 书生大模型实战营：茴香豆本地标准版搭建作业

是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。

原创 书生大模型实战营：Llamaindex RAG实践

本文将分为以下几个部分来介绍，如何使用 LlamaIndex 来部署 InternLM2 1.8B（以 InternStudio 的环境为例）

原创 书生大模型实战营：InternVL 部署微调实践

你可能会发现internvl_ft_run_8_filter下没有iter_3000.pth, 那你需要把iter_3000.pth切换成你internvl_ft_run_8_filter目录下的pth即可。让我们来一起完成一个用VLM模型进行冷笑话生成，让你的模型说出很逗的冷笑话吧。我们选定的任务是让InternVL-2B生成文生图提示词，这个任务需要VLM对图片有格式化的描述并输出。我们这里使用huggingface上的zhongshsh/CLoT-Oogiri-GO据集，特别鸣谢～。

原创 书生大模型实战营： LMDeploy 量化部署实践闯关任务

准确说，模型量化是一种优化技术，旨在减少机器学习模型的大小并提高其推理速度。此时代表我们成功地使用本地API与大模型进行了一次对话，如果切回第一个终端窗口，会看到如下信息，这代表其成功的完成了一次用户问题GET与输出POST。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。等待推理完成，便可以直接在你设置的目标文件夹看到对应的模型文件。

原创 《书生大模型实战营第3期》进阶岛 第2关： Lagent 自定义你的 Agent 智能体

开发机选择 30% A100，镜像选择为 Cuda12.2-conda。首先来为 Lagent 配置一个可用的环境。# 创建环境# 激活环境# 安装 torch# 安装其他依赖包接下来，我们通过源码安装的方式安装 lagent。# 创建目录以存放代码下面我们将实现一个调用 MagicMaker API 以完成文生图的功能。然后，我们将下面的代码复制进入'dongman', # 动漫'guofeng', # 国风'xieshi', # 写实'youhua', # 油画。

原创 书生大模型实战营基础岛 ：InternLM + LlamaIndex RAG 实践

任务要求：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。问题：简要介绍药皇韩枫。

原创 书生大模型全链路开源体系

书生·浦语开源模型谱系：分为1.8b,7b,20b,102b等多个版本大模型全链路开源，与社区生态无缝连接。

原创 书生大模型训练营OpenCompass 评测 InternLM-1.8B 实践

由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。打开 opencompass文件夹下configs/models/hf_internlm/的。评测时下载权重文件所需时间较长。

原创 书生大模型实战营XTuner微调个人小助手认知

复制一个与当前需求最匹配的配置文件。将原脚本中name改为自己的名称。

原创 LangGPT结构化提示词编写实践

原创 Llamaindex RAG实践

问题：简要介绍药皇韩枫。

原创 8G 显存玩转书生大模型 Demo复现过程

在demo环境中创建demo文件夹和cli_demo文件。将相关代码写入文件后运行文件并试验。

原创 第三期书生大模型实战营Python关卡任务

断点调试。

原创 第三期书生大模型实战营Linux关卡任务

输入登录命令和密码。