- 博客(20)
- 收藏
- 关注
RSS订阅原创 进阶关卡-第6关：MindSearch深度解析及实践
MindSearch是一个开源的 AI 搜索引擎框架，具有与相同的性能。我们可以轻松部署它来构建自己的专属搜索引擎，可以基于闭源的LLM（如GPTClaude系列），也可以使用开源的LLM（如经过专门优化的系列模型，能够在MindSearch框架中提供卓越的性能）最新版的MindSearch🤔 任何你想知道的问题：MindSearch通过搜索解决你在生活中遇到的各种问题📚 深度知识探索：MindSearch通过数百个网页的浏览，提供更广泛、深层次的答案。
2025-01-10 16:30:55
592
原创 进阶关卡-第1关：探索书生大模型能力边界
本节选用Leetcode中三种类型的题目分别对InternLM和进行提问，对比答题的通过率和代码执行效率。
2025-01-10 16:27:50
289
原创 进阶关卡-第4关：InternVL 多模态模型部署微调实践
我们主要通过## 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数## 5.利用 pipeline.chat 接口 进行对话，需传入生成参数## 6.之后的对话轮次需要传入之前的session，以告知模型历史上下文。
2025-01-09 18:52:33
790
原创 进阶关卡-第2关：Lagent_从零搭建你的Multi-Agent
Agent是一种能够自主感知环境并根据感知结果采取行动的实体，以感知序列为输入，以动作作为输出的函数。它可以以软件形式(如聊天机器人、推荐系统)存在，也可以是物理形态的机器(如自动驾驶汽车、机器人)。自主性：能够在没有外部干预的情况下做出决策。交互性：能够与环境交换信息。适应性：根据环境变化调整自身行为。目的性：所有行为都以实现特定目标为导向。## 1.2 Agent的应用场景。
2025-01-09 10:57:46
783
原创 进阶关卡-第4关：InternVL 多模态模型部署微调实践
我们主要通过## 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数## 5.利用 pipeline.chat 接口 进行对话，需传入生成参数## 6.之后的对话轮次需要传入之前的session，以告知模型历史上下文。
2024-12-17 10:59:45
677
原创 进阶关卡-第3关：LMDeploy量化部署进阶实践
封装本地API并与大模型进行一次对话，作业截图需包括显存占用情况与大模型回复，参考4.1 API开发(优秀学员必做)，请注意2.2.3节与4.1节应使用作业版本命令。因此，从bfloat16到int4的转换理论上可以将模型权重的大小减少到原来的1/4，即1.8B个int4参数仅占用0.9GB的显存。随着模型变得越来越大，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。，int4的Cache可以在相同8.16GB的显存下只需要4位来存储一个数值，而BF16需要16位。
2024-12-13 17:02:28
666
原创 进阶关卡-第2关：Lagent_从零搭建你的Multi-Agent
Agent是一种能够自主感知环境并根据感知结果采取行动的实体，以感知序列为输入，以动作作为输出的函数。它可以以软件形式(如聊天机器人、推荐系统)存在，也可以是物理形态的机器(如自动驾驶汽车、机器人)。自主性：能够在没有外部干预的情况下做出决策。交互性：能够与环境交换信息。适应性：根据环境变化调整自身行为。目的性：所有行为都以实现特定目标为导向。Lagent是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。
2024-11-27 15:04:42
611
原创 基础关卡-第6关：OpenCompass评测书生大模型实践
这种评测方式虽然前期准备工作相对繁琐，需要考虑硬件资源，但好处是评测过程完全在本地完成，不依赖网络状态，而且你可以更灵活地调整模型参数，深入了解模型的性能表现。使用 OpenCompass 评测 internlm2.5-chat-1.8b 模型在 ceval 数据集上的性能，记录复现过程并截图。其中 API 模式评测针对那些以 API 服务形式部署的模型，而本地直接评测则面向那些可以获取到模型权重文件的情况。, 然后通过评测API服务的方式来评测本地模型。数据集上的性能为例，介绍如何评测本地模型。
2024-11-26 08:51:31
1013
原创 基础关卡-第5关：XTuner 微调个人小助手认知
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。在这种模式下，安装的包可以在本地进行修改，并且修改后的效果会立即反映到使用该包的项目中，不需要重新安装。这里我们使用修改好的配置文件。表示微调的模型权重文件路径，即要转换的模型权重，
2024-11-21 20:03:11
833
原创 基础关卡-第4关：InternLM + LlamaIndex RAG 实践
基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 浦语 API 不会回答，借助 LlamaIndex 后 浦语 API 具备回答 A 的能力，截图保存。注意：写博客提交作业时切记不要泄漏自己 api_key！
2024-11-20 14:08:12
713
原创 基础关卡-第3关：浦语提示词工程实践
提示工程是一种通过**设计和调整输入(Prompts)**来改善模型性能或控制其输出结果的技术。在模型回复的过程中，首先获取用户输入的文本，然后处理文本特征并根据输入文本特征预测之后的文本，原理为next token prediction，类似我们日常使用的输入法。提示工程是模型性能优化的基石，有以下六大基本原则指令要清晰提供参考内容复杂的任务拆分成子任务给 LLM“思考”时间(给出过程)使用外部工具系统性测试变化在提示工程中，第一点给出清晰的指令是至关重要的。一个有效的指令。
2024-11-14 13:21:29
1064
原创 基础关卡-第1关：书生大模型全链路开源体系
如今，我们正迈向一个新的时代，一个模型不再局限于一个场景或任务，而是可以应用于多个场景、多模态的复杂环境中。它从轻量级的7B社区模型，逐步升级到中量级的20B商业模型，再到重量级的123B全场景模型。主要介绍了大模型、书生·浦语大模型的发展，从基础模型到实际应用的主要步骤，以及书生·浦语全链条开源开放体系等。提供了全链路部署的解决方案，包括模型轻量化、推理和服务，使得大模型在GPU上的部署更加高效，性能领先。工具，全方位评测模型性能，保证了评测结果的复现性，成为全球领先的大模型开源评测体系。
2024-11-13 13:53:26
1041
原创 入门关卡-第4关：玩转「HF_魔搭_魔乐」平台
Spaces 使得开发者可以快速将我们的模型部署为可交互的 web 应用，且无需担心后端基础设施或部署的复杂性。通过CLI上传 Hugging Face同样是跟Git相关联，通常大模型的模型文件都比较大，因此我们需要安装git lfs，对大文件系统支持。注意，如果git push 报错，可能是第一次上传时需要验证，请使用以下命令，注意替换<>里面的内容，然后再次git push一下就可以了。接着可以在CodeSpace里面，使用如下命令进行登录，登录时还需要输入刚刚的token。
2024-11-13 13:23:55
1384
原创 入门关卡-第3关：Git前置基础
推送报错，经排查发现是InternStudio没有与Github建立SSH链接。任务一中的SSH映射环境是建立本地电脑与InternStudio服务器的连接。这里的 “Your Name” 和 “your.email@example.com” 应替换为你自己的姓名和电子邮件。2、切换到自己的仓库，获取项目链接，克隆项目，完成之后查看项目分支等信息。注意取消勾选仅克隆当前分支。6、推送分支到远程仓库。4、创建个人破冰文件。
2024-11-12 13:24:02
392
原创 入门关卡-第2关：Python前置基础
给你两个字符串：ransomNote 和 magazine ，判断 ransomNote 能不能由 magazine 里面的字符构成。注意，浦语的token只有刚创建的时候才能看到全文。报错原因是，不需要考虑字符串中字符的顺序，只需要统计两个字符串组成元素中不同字符和各字符出现次数是否一致就行。上手直接想当然的用字符串的成员运算符进行判断，运行的时候三个测试用例都通过了😁。选择使用最笨的字符串索引过滤掉多余的字符，只保留正确的json结构。，所以导致无法进行正确的json字符串格式解析。
2024-11-11 13:53:34
495
原创 入门关卡-第1关：Linux前置基础
SSH全程Secure Shell，是一种网络安全协议，通过加密和认证机制实现安全的访问和文件传输等任务。SSH 是（C/S架构）由服务器和客户端组成，为建立安全的 SSH 通道，双方需要先建立 TCP 连接，然后协商使用的版本号和各类算法，并生成相同的会话密钥用于后续的对称加密。在完成用户认证后，双方即可建立会话进行数据交互。
2024-11-06 16:44:03
1000
1
原创 书生·浦语实战营第二期
第一课为视频课主要介绍了大模型、书生·浦语大模型的发展，从基础模型到实际应用的主要步骤，以及书生·浦语全链条开源开放体系等。
2024-03-31 12:30:40
1247
1
原创 Transformer模型详解
Transformer模型现在已经是大语言模型搭建的主流框架，其由谷歌团队在2017年发表的论文《Attention is All You Need》[。本文的目的是在弄懂Transformer模型结构、底层逻辑的基础上，进一步理解当前大语言模型的主要技术架构。
2024-02-06 10:09:35
1466
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人