m0_65719612-优快云博客

原创 MindSearch CPU-only 版部署

随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。

2024-09-01 23:15:57 1057

原创 InternVL 多模态模型部署微调实践

InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。

2024-09-01 14:22:46 1457

是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。

2024-08-31 23:39:41 702

原创 LMDeploy 量化部署进阶实践

打开，进入如下界面并按箭头指示顺序点击。点选开发机，自拟一个开发机名称，选择镜像。我们要运行参数量为7B的InternLM2.5，由查询InternLM2.5-7b-chat的config.json文件可知，bfloat16所以我们需要大于14GB的显存，选择(24GB显存容量)，后选择，等状态栏变成运行中，点击，我们即可开始部署。在终端中，让我们输入以下指令，来创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

2024-08-31 22:51:01 857

原创 Lagent 自定义自己的 Agent 智能体

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器在本节中，我们将带大家基于 Lagent 自定义自己的智能体。Lagent 中关于工具部分的介绍文档位于动作 — Lagent。继承BaseAction类实现简单工具的run方法；

2024-08-29 22:14:33 1040

原创 OpenCompass 评测 InternLM-1.8B 实践

在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。接下来，我们将展示 OpenCompass 的基础用法，分别用命令行方式和配置文件的方式评测InternLM2-Chat-1.8B，展示书生浦语在C-Eval基准任务上的评估。更多评测技巧请查看文档。

2024-08-25 23:22:32 684

原创 XTuner微调个人小助手认知实战

本节主要重点是带领大家实现个人小助手微调，如果想了解微调相关的基本概念，可以访问XTuner微调前置基础。环境安装：我们想要用简单易上手的微调工具包 XTuner 来对模型进行微调的话，第一步是安装 XTuner ！安装基础的工具是一切的前提，只有安装了 XTuner 我们才能够去执行后续的操作。前期准备：在完成 XTuner 的安装后，我们下一步就需要去明确我们自己的微调目标了。我们想要利用微调做一些什么事情呢，然后为了实现这个目标，我们需要准备相关的硬件资源和数据。启动微调：在确定了自己的微调目标后，我

2024-08-25 09:01:56 835

原创 Llamaindex RAG实践

给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？

2024-08-21 23:24:21 1037

原创浦语提示词工程实践

提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。在模型回复的过程中，首先获取用户输入的文本，然后处理文本特征并根据输入文本特征预测之后的文本，原理为。指令要清晰提供参考内容复杂的任务拆分成子任务给 LLM“思考”时间(给出过程)使用外部工具系统性测试变化。

2024-08-18 22:36:11 1020

原创 8G 显存玩转书生大模型 Demo

8G 显存部署书生大模型 Demo

2024-08-11 22:56:40 614

原创书生大模型全链路开源开放体系

书生大模型全链路开源开放体系功能强大

2024-08-11 16:40:14 226

原创 Git 课程任务

任务二。

2024-08-11 00:36:52 275

原创 Python task

在“Run and Debug”侧边栏的“Variables”（变量）部分，你可以看到当前作用域内的所有变量及其值。请使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记(需要截图)。点击VSCode侧边栏的“Run and Debug”（运行和调试），然后点击“Run and Debug”（开始调试）按钮，或者按F5键。: step over：跳过，可以理解为运行当前行代码，不进入具体的函数或者方法。

2024-08-10 23:52:23 562

原创 Linux+InternStudio 基础知识实践

Conda 是一个开源的包管理和环境管理系统，可在 Windows、macOS 和 Linux 上运行。它快速安装、运行和更新软件包及其依赖项。使用 Conda，您可以轻松在本地计算机上创建、保存、加载和切换不同的环境。在开发机中已经安装了conda，我们可以直接使用，而且开发机中也有内置的conda命令，下面我们会介绍conda的基本使用，还有的使用方法以及介绍一下是怎么实现的。conda设置conda环境管理conda和pipstudio-conda使用与Shell（扩展）

2024-08-09 23:51:27 835 1

原创 LLama3作业汇总

1. Llama3实战记录之Llama 3 本地 Web Demo 部署2.Llama3实战记录之XTuner 微调 Llama3 个人小助手认知3.Llama3实战记录之llama3图片理解能力微调4.Llama 3 Agent 能力体验+微调（Lagent 版）5.LMDeploy 高效部署 Llama3 实践6.手把手带你评测 Llama 3 能力（OpenCompass 版）

2024-05-10 23:36:51 270

原创手把手带你评测 Llama 3 能力（OpenCompass 版）

书生·浦语和机智流社区同学投稿了 OpenCompass 评测 Llama 3，欢迎 Star。

2024-05-10 23:33:53 1783

原创 LMDeploy 高效部署 Llama3 实践

环境，模型准备LMDeploy模型量化(lite)LMDeploy服务(serve)

2024-05-10 23:09:07 972

原创 Llama 3 Agent 能力体验+微调（Lagent 版）

首先我们先来使用基于 Lagent 的 Web Demo 来直观体验一下 Llama3 模型在 ReAct 范式下的智能体能力。我们让它使用 ArxivSearch 工具来搜索 InternLM2 的技术报告。从图中可以看到，Llama3-8B-Instruct 模型并没有成功调用工具。原因在于它输出了而非，这也就导致了 ReAct 在解析工具输入参数时发生错误，进而导致调用工具失败。回答的不正确，有幻想的感觉，不太正常。Lagent Web Demo 部分详见。

2024-05-10 22:39:06 1546

原创 Llama3实战记录之llama3图片理解能力微调

随着 XTuner 团队放出了基于 Llama3-8B 的 LLaVA 模型，我们也是第一时间与 XTuner 团队取得了联系，并获得了他们已经预训练好的 Image Projector。接下来，我们将带大家基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。

2024-05-09 22:22:30 4191 2

原创 Llama3实战记录之XTuner 微调 Llama3 个人小助手认知

自我认知训练数据集准备环境配置—前面已经配置好了,直接进入环境中conda activate llama3cd XTunerpip install .[all]cd ~/Llama3-Tutorialpython tools/gdata.py 修改名字以上脚本在生成了 ~/Llama3-Tutorial/data/personal_assistant.json 数据文件格式如下所示：[ { "conversation": [

2024-05-08 23:28:41 390 1

原创 Llama3实战记录之Llama 3 本地 Web Demo 部署

Llama 3 本地 Web Demo 部署。

2024-05-08 08:59:12 525 1

原创《书生·浦语大模型全链路开源开放体系》笔记和作业汇总

第一课笔记第二课笔记第二课作业第三课笔记第三课作业第四课笔记第四课作业第五课笔记第五课作业第六课笔记第六课作业

2024-02-18 09:14:46 160

原创《书生·浦语大模型全链路开源开放体系》第五课作业 LMDeploy 的量化和部署

但 PyTorch 和 DeepSpeed 调用的其实都是 Huggingface 的 Transformers 包，PyTorch表示原生的 Transformer 包，DeepSpeed 表示使用了 DeepSpeed 作为推理框架。每一份参数第一个 0 表示“层”的索引，后面的那个0表示 Tensor 并行的索引，因为我们只有一张卡，所以被拆分成 1 份。首先说 “模型推理/服务”，推荐使用 TurboMind，使用简单，性能良好，相关的 Benchmark 对比如下。

2024-02-17 19:50:28 1026 1

原创《书生·浦语大模型全链路开源开放体系》第四课作业 XTuner 大模型单卡低成本微调实战

目标：通过微调，帮助模型认清了解对自己身份弟位方式：使用XTuner进行微调（回答比较官方）（对自己的身份弟位有了清晰的认知）

2024-02-13 22:54:23 787 1

原创《书生·浦语大模型全链路开源开放体系》笔记第六课 OpenCompass 大模型评测

本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。

2024-01-21 20:43:32 1185 1

原创《书生·浦语大模型全链路开源开放体系》笔记第五课 LMDeploy 的量化和部署

首先我们需要明白一点，服务部署和量化是没有直接关联的，量化的最主要目的是降低显存占用，主要包括两方面的显存：模型参数和中间过程计算结果。接下来我们切换到刚刚的终端（就是上图右边的那个「bash」，下面的「watch」就是监控的终端），创建部署和量化需要的环境。目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。

2024-01-14 20:42:43 1279 1

m0_65719612的博客