- 博客(26)
- 收藏
- 关注
RSS订阅原创 InternLM 论文分类微调实践（XTuner 版）
我创建开发机选择镜像为Cuda12.2-conda，选择GPU为100%A100的资源配置Conda 管理环境检验环境安装。
2025-05-19 15:27:56
493
原创 LMDeploy 量化部署进阶实践
打开，进入如下界面创建环境在终端中，让我们输入以下指令，来创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。
2024-12-23 22:25:37
1264
原创 MindSearch深度解析实践
MindSearch 是一个开源的 AI 搜索引擎框架，具有与 Perplexity.ai Pro 相同的性能。🤔 任何你想知道的问题：MindSearch 通过搜索解决你在生活中遇到的各种问题📚 深度知识探索：MindSearch 通过数百个网页的浏览，提供更广泛、深层次的答案🔍 透明的解决方案路径：MindSearch 提供了思考路径、搜索关键词等完整的内容，提高回复的可信度和可用性。💻 多种用户界面：为用户提供各种接口，包括 React、Gradio、Streamlit 和本地调试。
2024-12-12 23:40:18
981
原创 Lagent 自定义你的 Agent 智能体
Action，也称为工具，Lagent中集成了很多好用的工具，提供了一套LLM驱动的智能体用来与真实世界交互并执行复杂任务的函数，包括谷歌文献检索、Arxiv文献检索、Python编译器等。，其中如果采用浦语的API，模型名称可以选择internlm2.5-latest，默认指向最新发布的 InternLM2.5 系列模型，当前指向。可以尝试进行几轮简单的对话，并让其搜索文献，会发现大模型现在尽管有比较好的对话能力，但是并不能帮我们准确的找到文献，)，展示如何协调不同的智能代理完成内容生成和优化的任务。
2024-11-25 13:06:39
2401
原创 InternVL 多模态模型部署微调实践
多模态大语言模型 ( Multimodal Large Language Model) 是指能够处理和融合多种不同类型数据(如文本、图像、音频、视频等) 的大型人工智能模型。这些模型通常基于深度学习技术， 能够理解和生成多种模态的数据， 从而在各种复杂的应用场景中表现出强大的能力。常见的MLLM多模态研究的重点是不同模态特征空间的对齐我们主要通过## 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数。
2024-11-14 10:33:40
2292
原创 XTuner 微调实践微调(第四期)
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。表示微调的模型权重文件路径，即要转换的模型权重，
2024-11-11 21:55:21
832
原创 玩转书生「多模态对话」与「AI搜索」产品
一般情况下主节点会根据子节点得出的结论，总结形成最终回复部分情况下，主节点会根据子节点得到的结论进一步拆解子问题回到步骤 (1) 直到得到最终结论。
2024-11-11 21:52:06
1172
原创 LlamaIndex+InternLM RAG 实践(第四期)
1. 前置知识正式介绍检索增强生成（Retrieval Augmented Generation，RAG）技术以前，大家不妨想想为什么会出现这样一个技术。 给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。 第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考InternLM2技术报告。 第二种方式，并不改变模型的权重，只是给模型引入格外的信息。类
2024-11-07 23:21:43
1064
原创 浦语提示词工程实践
大模型提示词是关键基础，应用最为广泛Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。Prompt可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。
2024-11-07 09:20:37
1108
原创 玩转HF/魔搭/魔乐社区
注册登录ModelScope平台，进入导航栏模型库，可以搜索internlm找到相关模型（但是这也包括非官方模型），在这里我们可以搜索 internlm2_5-chat-1_8b，下载1.8b的对话模型，也类似于hugging face 一样拥有具体的详情页。它旨在汇集来自AI社区的最先进的机器学习模型，并简化在实际应用中使用AI模型的流程。注意到在CodeSpace平台上是没有GPU资源的，因此我们Python代码中只使用CPU进行推理，我们需要修改跟CUDA有关的API，在。
2024-11-06 14:49:17
2553
原创 书生·浦语大模型开源开放体系
如果所有事情都交给模型来做的话，还是有些局限性，比如说模型没法获取最新的知识，并且模型在一些计算能力上、数学运算上还不是很可靠，所以就要对大模型进行智能体的框架的构建，与外部工具交互，提高输出的可靠性。基于AI、搜索结果的搜索引擎：提出一个问题之后，会先规划解决问题的思路，并且每一步的思路右边会显示这一步思路正在干什么。当给模型提供一段非常长的背景知识的时候，模型是否能够完美的去定位这段超长背景知识中的任何知识的任何信息。数据格式可以兼容已经开源并且用的比较多的开源数据集格式。
2024-11-05 20:58:57
564
原创 Python task
根据端点提示，发生异常：JSONDecodeError，因为 res 的内容是以 ```json开头的多行字符串，而不是一个有效的 JSON 字符串。所以需要解析 JSON 之前，检查 res 是否以 ```json 开头，如果是，则裁剪掉这部分内容。点击VSCode侧边栏的“Run and Debug”（运行和调试），然后点击“Run and Debug”（开始调试）按钮，或者按F5键。2: step over：跳过，可以理解为运行当前行代码，不进入具体的函数或者方法。,登陆后点击API tokens。
2024-10-23 20:14:22
436
原创 茴香豆：企业级知识库问答工具
是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。
2024-10-16 20:44:10
829
原创 OpenCompass 评测 InternLM-1.8B 实践
在创建开发机界面选择镜像为 Cuda11.7-conda，并选择 GPU 为10% A100。
2024-10-07 12:47:32
795
原创 XTuner 微调个人小助手认知任务
进入开发机之后，请确保自己已经克隆了Tutorial仓库的资料到本地。创建虚拟环境使用 Anaconda 创建一个名为 xtuner0121 的虚拟环境，可以直接执行命令。# 创建虚拟环境# 激活虚拟环境（注意：后续的所有操作都需要在这个虚拟环境中进行）# 安装一些必要的库# 安装其他依赖安装 XTuner首先，从 Github 上下载源码。# 创建一个目录，用来存放源代码其次，进入源码目录，执行安装。# 进入到源码目录# 执行安装最后，我们可以验证一下安装结果。模型准备。
2024-10-06 18:31:41
1067
原创 书生大模型全链路开源体系笔记
2023.7.6：InternLM-7B 开源率率先免费商用发布全链条开源工具体系2023.9.20：InternLM-20B 开源开源工具链权限升级2024.1.17：InternLM2 开源性能超最新同量级开源模型2024.7.4：InternLM2.5 开源。
2024-10-05 18:52:26
199
原创 浦语提示词工程实践（基础岛第三关）
左侧边栏为对话的部分设置，其中最大token长度设置为0时表示不限制生成的最大token长度。：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为。LangGPT框架参考了面向对象程序设计的思想，设计为基于角色的双层结构，一个完整的提示词包含。提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。端口映射：（将开发机上的8501映射到本地机器的端口）
2024-10-05 18:07:09
344
原创 InternLM + LlamaIndex RAG 实践（第三关）
Rag不改变模型权重，只是给模型引入格外的信息，相当于阅读函数文档然后短暂的记住了某个函数的用法。
2024-10-05 01:01:21
903
原创 InternLM 第三季（基础岛 第二关）
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号。任务一：使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事。的 PowerShell 中输入以下命令，将端口映射到本地。
2024-10-03 18:22:19
285
原创 大模型实战营（第三关）
查看全局配置：git config --global --list。点击已完成的链接，出现以下的页面。将分支改为camp2。
2024-09-26 09:24:21
216
原创 InternLM大模型第三期（入门岛闯关02关）
1: continue: 继续运行到下一个断点2: step over：跳过，可以理解为运行当前行代码，不进入具体的函数或者方法。3: step into: 进入函数或者方法。如果当行代码存在函数或者方法时，进入代码该函数或者方法。如果当行代码没有函数或者方法，则等价于step over。4: step out：退出函数或者方法, 返回上一层。5: restart：重新启动debug6: stop：终止debug。
2024-09-25 12:43:33
638
原创 Linux 基础知识
快速从本地上传文件：ssh -p 37367 root@ssh.intern-ai.org.cn -CNg -L {本地机器_PORT}:127.0.0.1:{开发机_PORT} -o StrictHostKeyChecking=no。端口映射命令：ssh -p 37367 root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:7860 -o StrictHostKeyChecking=no。-P 37367:ssh连接的端口。Ctrl+Shift+~”快捷键。
2024-09-24 11:31:29
306
原创 链式存储表的结构
/指向下一个结点的类型。typedef struct LNode{//定义结点结构体类型。p->data=10;p->next=t;
2023-03-22 21:03:24
66
原创 顺序存储表基本结构和插入表、删除表
j++){//用j当数组成员的下标，把第i+1个到第L->length依次往前移动一位 L->data[j-1]=L->data[j];i++){//依次输入n个整数 scanf("%d",&L->data[i]);j--){//用j当数组成员的下标，把第i个到第 L->length依次往后移动一位。i++){//依次输出表L中的元素 printf("%d ",L->data[i]);if(MaxSize==L->length){//储存空间不足的容错 return;
2023-03-21 22:48:39
105
1
【计算机科学】Anaconda环境安装指南：Python运行环境配置及虚拟机搭建详细步骤
2025-05-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人