stinkypudding-优快云博客

原创书生大模型实战营第四期L2G6000（MindSearch 快速部署）

使用github codespace进行配置。选择空模板。获取硅基流动API。

2024-12-06 18:47:57 303

原创书生大模型实战营第四期L2G2000（Lagent 自定义你的 Agent 智能体）

Agent是一种能够自主感知环境并根据感知结果采取行动的实体，以感知序列为输入，以动作作为输出的函数。它可以以软件形式（如聊天机器人、推荐系统）存在，也可以是物理形态的机器（如自动驾驶汽车、机器人）。自主性：能够在没有外部干预的情况下做出决策。交互性：能够与环境交换信息。适应性：根据环境变化调整自身行为。目的性：所有行为都以实现特定目标为导向。Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。

2024-11-27 17:25:28 803

原创书生大模型实战营第四期L2G3000（LMDeploy 量化部署进阶实践）

1、首先根据要求选择镜像和硬件配置，创建开发机。显存估算：我们要运行参数量为7B的InternLM2.5，由查询InternLM2.5-7b-chat的config.json文件可知，bfloat16所以我们需要大于14GB的显存，选择(24GB显存容量)，后选择，等状态栏变成运行中，点击，我们即可开始部署。2、然后创建conda环境，安装相关包。3、验证模型文件是否可用。运行命令，启动CLI对话界面此时资源占用情况如下：如果选择。

2024-11-21 17:14:17 1083

原创书生大模型实战营第四期L2G4000（InternVL 多模态模型部署微调实践）

MLP。

2024-11-12 20:43:19 745

原创书生大模型实战营第四期L1G6000（OpenCompass 评测书生大模型实践）

基座模型和指令微调后的对话模型评测的数据集构造不同。仅开放API的模型和公开权重的模型评测方法也不一样。评测集的构建也可分为主观题和客观题，客观题有有限个正确答案，主观题则通过人工或能力更强的大模型的评分来评判性能。处理长文本的能力也是一项重要指标。

2024-11-11 13:39:10 985

原创书生大模型实战营第四期L1G5000（XTuner 微调个人小助手认知）

微调的作用是让预训练的大模型能够适应下游任务。这里仅作简单介绍，相关的算法如SFT, DPO等不是本文重点。本文在做微调的时候主要用的是LoRA以及QLoRA，这一系列算法基于一个观察：模型全参数可以用一个低秩的矩阵替换，好处是使用的资源显著减少。LoRAQLoRAXTuner 文档链接：XTuner-doc-cn首先使用 conda 先构建一个 Python-3.10 的虚拟环境。然后安装 XTuner。为了验证 XTuner 是否安装正确，我们将使用命令打印配置文件。安装成功！创建一个新的文件夹用于存储

2024-11-10 17:41:10 1087

原创书生大模型实战营第四期L1G4000（InternLM + LlamaIndex RAG 实践）

检索原理：向量数据库。

2024-11-09 14:32:25 1050

原创书生大模型实战营第四期L1G2000（玩转书生「多模态对话」与「AI搜索」产品）

本次体验了书生产品矩阵种的三种产品，分别是书生浦语大模型、MindSearch和书生万象。

2024-11-08 15:34:36 252

原创书生大模型实战营第四期L1G1000（书生大模型全链路开源体系）

书生浦语大模型开源体系涵盖了从数据到训练，从科研到应用，从开发到部署的方方面面，并仍将不断更新，以高质量的开源赋能创新。

2024-11-04 13:17:14 753

原创书生大模型实战营第四期L1G3000（浦语提示词工程实践）

进一步介绍公司和提议]。- Profile: 你是一位资深的公文写作专家，拥有丰富的公文撰写经验，熟悉各类公文的格式和规范，能够根据不同场合和目的撰写恰当的公文。- Profile: 你是一位经验丰富的商务沟通专家，擅长撰写清晰、专业的电子邮件，能够根据不同的商业场景和对象调整邮件风格和内容。- Skills: 你具备深厚的语言文字功底，能够准确把握公文的语气和风格，同时精通公文的结构布局和逻辑组织。- Background: 用户需要撰写正式的公文，这要求具备严谨的格式、清晰的逻辑和恰当的官方语言。

2024-10-31 22:15:26 984

stinkypudding的博客