- 博客(51)
- 收藏
- 关注
RSS订阅原创 使用WasmEdge将InternLM集成到Obsidian，打造本地智能笔记助手
InternLM 介绍由上海人工智能实验室发布的书生·浦语（InternLM）系列大语言模型，作为该系列的最新版本，书生·浦语3.0（InternLM3）通过精炼数据框架，大幅提升了数据效率，并实现思维密度的跃升。仅使用 4T 训练数据的 InternLM3-8B-Instruct，其综合性能超过了同量级开源模型，节约训练成本 75% 以上；同时，书生·浦语3.0 首次在通用模型中实现了常规对话与深度思考能力融合，可应对更多真实使用场景。体验页面：WasmEdge介绍。
2025-04-11 10:42:45
644
原创 基于多智能体的图像信息定位系统 MultiAgent-Search | 与书生共创
目前图寻地址主要依赖计算机视觉（CV）方法，通过与大量卫星图像比对来确定位置。尽管这些方法效果显，但随着大模型的应运而生，依据人对于图像地理知识及相关特征的推理未免不是一个好的解决方案。因此，我开发了一种基于多智能体的图像识别与位置推理系统。旨在通过视觉、知识与决策等多智能体协同工作，能够有效分析城市地标的多维信息，通过逐步推理的方式得到准确的地理位置。项目展示。
2025-03-21 15:13:07
918
原创 手把手带你基于Zotero，使用InternLM API打造英文文献翻译助手
本文来自社区投稿，作者艾天龙在日常工作和学习中，你是否常常因为无法很好地理解英文文献而感到困扰？又是否对 Google 翻译生硬的结果感到不满？本教程将介绍如何利用书生・浦语（InternLM）大模型，结合 Zotero 文献管理软件以及 Zotero Translate 翻译插件，实现快速、免费且无需复杂网络环境配置的 AI 翻译功能，助力您轻松读懂英文文献，享受流畅的 AI 翻译体验。
2025-03-21 14:04:49
926
原创 基于EDG4LLM，使用InternLM3 API 高效生成微调数据丨玩转书生大模型
1月15日，上海人工智能实验室对书生大模型进行重要版本升级，书生·浦语3.0通过精炼数据框架，大幅提升了数据效率，并实现思维密度的跃升。仅使用4T训练数据的InternLM3-8B-Instruct，其综合性能超过了同量级开源模型，节约训练成本75%以上；同时，书生·浦语3.0首次在通用模型中实现了常规对话与深度思考能力融合，可应对更多真实使用场景。EDG4LLM是一款专为利用大语言模型生成微调数据而设计的Python 库，旨在帮助用户高效创建高质量的微调数据集。目前，该工具主要支持文本数据生成问题数据。
2025-03-05 14:42:10
707
原创 新一代书生·浦语大模型(InternLM3)沐曦训推实践
LMDeploy涵盖了LLM任务的全套轻量化、部署和服务解决方案。DeepLink团队开发的dlinfer提供了一套将新兴硬件接入大模型推理框架的解决方案。对上承接大模型推理框架，对下在eager模式下调用各厂商的融合算子，在graph模式下调用厂商的图引擎。dlinfer 根据主流大模型推理框架与主流硬件厂商的融合算子粒度，定义了大模型推理的融合算子接口。目前，dlinfer正在全力支持LMDeploy适配包括沐曦在内的多款新兴芯片品牌。
2025-02-27 14:46:29
769
原创 强化学习范式OREAL：超越蒸馏，推动轻中量级模型突破推理“三重门”困局
实验结果表明，以Qwen2.5-32B-Base为基座模型，仅通过微调和基于结果反馈的强化学习，在不蒸馏超大模型的情况下，即实现在MATH-500数据集上的SOTA性能。此外，将OREAL应用于DeepSeek-r1-Distill-Qwen-7B后，得到的新模型OREAL-DSR1-Distill-Qwen-7B在MATH-500上取得了94.0的pass@1精度，创下了7B模型的记录。对于32B模型，Oreal-32B在MATH-500上也达到了95.0的分数，实现32B模型的新SOTA。
2025-02-19 10:40:02
896
原创 新一代书生·浦语大模型(InternLM3)寒武纪训推实践
LMDeploy涵盖了LLM任务的全套轻量化、部署和服务解决方案。DeepLink团队开发的dlinfer提供了一套将新兴硬件接入大模型推理框架的解决方案。对上承接大模型推理框架，对下在eager模式下调用各厂商的融合算子，在graph模式下调用厂商的图引擎。dlinfer根据主流大模型推理框架与主流硬件厂商的融合算子粒度，定义了大模型推理的融合算子接口。目前，dlinfer正在全力支持LMDeploy适配包括寒武纪在内的多款新兴芯片品牌。
2025-01-23 15:24:23
989
原创 新一代书生·浦语大模型(InternLM3)昇腾训推实践
其中，“generated_text”中的内容就是模型的输出文本。在与InterLM3的适配过程中， MindIE基于框架引擎能力，提供深度定制优化模块，并内置模型，使能模型迁移适配过程快速复用亲和昇腾的推理加速能力，实现InternLM3-8B-Instruct 模型在昇腾生态社区同步发布。是基于昇腾生态的大语言模型套件，旨在为昇腾生态合作伙伴提供端到端的大语言模型训练方案，包含分布式预训练、分布式指令微调、分布式偏好对齐以及对应的开发工具链，如：数据预处理、权重转换、在线推理、基线评估。
2025-01-23 14:41:22
1365
原创 书生·浦语大模型升级，突破思维密度，4T数据训出高性能模型
为此，团队提出大规模数据精炼框架，大幅提高了训练数据的质量。基于通专融合的技术路线，研究团队探索了不同类型数据的融合训练方案，使得书生·浦语3.0 同时具备常规对话和深度思考能力，通过系统提示词（system prompt）的控制，可以让单一模型在两种模式间的一键切换，让通用模型具备深度思考能力。高价值数据的合成：基于通专融合的方式，以通用模型快速迭代合成算法，再精选数据训练专用模型，通过在海量天然数据中进行素材挖掘，改进的树状搜索策略，以及多维度质量验证，合成大量内容丰富，质量可靠的高价值数据。
2025-01-15 19:18:05
1000
原创 第4期书生大模型实战营精选项目一览
在这个快节奏的世界里，我们都需要一点调味剂来调和生活。无论是需要一点甜言蜜语来提振精神，还是需要一剂犀利怼语来释放压力，基于 InternLM2.5 系列大模型开发出的 FunGPT 都能满足您的需求。甜言蜜语模式心情提升器：当您感到低落，我们的甜言蜜语模式能让您的心情瞬间飙升，就像尝了一颗超级甜的蜜糖。自信加油站：同时我们的赞师傅会用最合适且独特的方式夸奖您，让您的自信心爆棚。犀利怼语模式压力释放阀：当您感到压力山大，我们的怼人模式能让您在怼人的同时，找到释放的出口。
2025-01-06 10:48:00
779
原创 从自动化到大模型，王培东用实践搭建AI成长阶梯，登上ACL舞台丨社区星风采
—大模型微调/大模型学习路线，InternVL（冷笑话大师）部署微调实践，【Ollama保姆级教程】本地私有化大模型部署，从安装到微调，本地离线不怕隐私外泄，免费的开源AI助手（附教程），书生·浦语大模型开源开放体系，吹爆！”王培东补充道，“这不仅是对学员们的责任，更是对我作为导师的一种自我要求。的故事，他来自东北大学数据挖掘课题组。从最初对自动化、控制领域的探索，到如今专注于多模态大模型、大语言模型等方向的研究，他的经历不仅展现了个人的努力，也是对从迷茫中找寻方向、从实践中收获成长的生动诠释。
2024-12-31 14:22:35
1164
原创 凭实力上榜！书生大模型开源社区荣获“2024年开源创新榜单”年度开源社区奖
此外，在主办方的特别邀请下，上海人工智能实验室青年科学家陈恺详细介绍了书生通用大模型体系，包括大语言模型书生·浦语（InternLM）、多模态大模型书生·万象（InternVL）、强推理模型书生InternThinker，以及面向大模型研发与应用的全链条开源体系（覆盖大模型数据、预训练、微调、部署、评测及应用）。经过层层筛选和专家评审，上海人工智能实验室书生大模型开源社区凭借其卓越的技术创新、社区建设以及开源贡献，从众多社区中脱颖而出，荣获“年度开源社区”奖。
2024-12-30 19:05:28
346
原创 推理实力再进阶！书生InternThinker迎来升级，免费API开放在即
自 InternThinker-alpha 版本发布以来，研发团队采用了强化学习的方法，让模型尝试完成大量复杂的推理难题，并在各种任务的沙盒环境进行交互，通过精细化地筛选高质量数据，使得模型在此过程中习得了更多元动作策略，实现了性能的显著提升，在数学等任务上和 o1-mini-20240912 持平。2024 年 12 月 18 日，InternThinker 从 alpha 版本升级到 beta 版本，在数学、理科，推理谜题等复杂推理任务上取得了优异的结果，并将在近期开放免费 API 供开发者使用。
2024-12-30 18:45:47
364
原创 InternLM2.5-20B-Chat 上线 SiliconCloud 平台
SiliconCloud 是硅基流动推出的一站式大模型云服务平台。通过提供更快、更便宜、更全面的主流开源大模型 API 服务，SiliconCloud 希望能打造“大模型 Token 工厂”，帮助开发者真正实现“ Token 自由”。目前，平台已上架多种大语言模型、向量&重排序模型、包含图片/视频生成的多模态大模型，用户可自由切换适合不同应用场景的模型。相比之前上线的 InternLM2.5-7B-Chat，InternLM2.5-20B-Chat 的综合性能更为强大，能够轻松应对更加复杂的应用场景。
2024-12-30 18:42:30
543
原创 安卓端侧大模型MLC-LLM部署全攻略：以InternLM2.5-1.8B为例
本文来自社区投稿，作者：Tim 算法工程师MLC-LLM 是一个机器学习编译器和高性能大型语言模型部署引擎。该项目的使命是让每个人都能在自己的平台上开发、优化和部署 AI 模型。InternLM 2.5 是上海人工智能实验室发布的新一代大规模语言模型，相比于之前的版本，InternLM 2.5支持百万长文，推理能力开源领先。本文将带大家手把手使用 MLC-LLM 将 InternLM2.5-1.8B-Chat部署到安卓手机上。首先我们来看一下最终的效果～
2024-12-25 19:09:16
2441
4
原创 AI 玩家已上线！和 InternLM 解锁“谁是卧底”新玩法
本文来自社区投稿，作者LangGPT联合发起人、东北大学在读博士生王明在大模型技术日益普及的今天，AI 的应用已经渗透到各个领域，带来了无数创新和乐趣。今天，我们将一起探索如何搭建一个 AI 版的“谁是卧底”游戏。通过和平台，你将学会如何配置环境、调用大模型接口，最后和展开一场关于“谁是卧底”的脑力对决。（欢迎使用 InternLM 系列开源大模型开发有趣有用的 AI 应用）
2024-12-25 18:54:41
975
原创 从学员到讲师，AI 萌新任宇鹏在实战营的蜕变之旅
这一套开源框架几乎满足了我对大模型研究的所有需求。回想起半年前，我还坐在电脑边上苦苦思考 Bloom 为什么调不出来，Llama 该怎么扩充词表，实战营结业的时候，连我自己都不相信居然学到了这么多东西。”任宇鹏如是说道。
2024-12-09 11:33:33
452
原创 夺冠之作！揭秘基于InternLM2的离线具身智能导盲犬
InternDog 使用情景模拟器生成的情景数据作为微调数据集，使用XTuner工具基于模型进行微调，然后使用本团队开发的工具对模型进行 W4A16 量化，在宇树 Go1 机器狗板载NVIDIA Jetson Xavier NX (8G)上离线部署。LMDeploy在 Jetson 系列板卡上的移植版本。基于 Function Calling 机制，本团队提出了“多层次离线具身智能开发框架。
2024-12-05 19:52:52
1146
原创 从大模型初探者到登上领奖台，看优秀学员郭一凡如何在实战营走花路！
当这两股创意的火花在讨论中碰撞，不仅激发了更多的灵感，也吸引了更多有志之士的加入。最终这个想法吸引到了来自三所不同高校的小伙伴们，于是志同道合的四人团队诞生了。他们虽然专业背景各异，技能各有侧重，却在实战营这个大家庭中因共同的热爱和追求走到了一起。在即将到来的挑战中，他们将并肩前行。
2024-12-05 19:51:45
726
原创 在HF上部署你的专属MindSearch，随时随地开启智能搜索！
作者：MindSearch 兴趣小组成员张富才本文将详细带领大家学习如何在 Hugging Face Space专属自己的 MindSearch 应用，免去排队等待的烦恼，随时随地开启智能搜索！好，知道这些就可以动手了，让我们开始教程吧~
2024-12-04 14:10:20
1189
原创 这款懂人情世故的大模型强得可怕！
中国文化注重人情世故，涉及到复杂的社交规则、礼仪和人际关系。团队通过深入理解中文语境、文化特点和丰富的语料，提供了基于各类中国式文化的场景下的应对方法、对话案例与情景模拟。目前已经支持的应用场景包括：如何送祝福、敬酒、请客、送礼、人际交流、化解尴尬以及应对矛盾等等，还有更多社区小伙伴们建议的 LLM 提高情商方案正在制作中~除了把这个项目当成一个好玩的社交大模型外，你还可以把它当作完整的全栈大语言模型入门学习仓库!
2024-12-04 10:59:06
799
原创 基于华为昇腾910B，实战 InternLM2.5-7B-Chat 模型推理
LMDeploy 在 0.6.0 这个版本上开始支持华为昇腾NPU。不过官方的文档只包含了 docker 镜像推理的示例，对于非 docker 镜像如何部署安装没有提到，这样对平台的移植性就变差了。好在启智平台提供了华为的昇腾NPU 运行环境，不过这里我们需要注意：虽然启智平台提供了华为的昇腾 NPU 运行环境，但是 不是每个镜像都能很顺利地跑完，我花了些时间进行测试，结果发现大部分镜像是不能运行的。测试序号资源规格镜像智算中心python版本测试情况1。
2024-12-03 14:07:59
2028
原创 InternLM2.5系列模型正式上线 OpenCSG
InternLM2.5 系列模型现已在 OpenCSG 社区以专区形式正式上线，大家可以灵活选择算力，快速启动推理服务，或利用平台提供的丰富数据集进行模型微调。InternLM 开源链接：（欢迎 star）https://github.com/InternLM/InternLM专区链接：https://opencsg.com/collections/43/OpenCSG 社区还特别提供了 InternLM2.5-20B-Chat 的在线推理体验，用户可以通过一键操作直接体验该模型的对话功能～在线
2024-11-29 16:07:08
299
原创 LangGPT社区创始人云中江树：用热爱与坚持点燃实战营课堂
云中江树的故事，是对热爱与坚持的生动诠释。从农村少年到 AI 领域领航者，他用自己的经历告诉我们：只要有梦想、有热爱、有坚持，就一定能够创造出属于自己的精彩人生。我们也期待云中江树在未来的日子里，能够继续引领 AI 领域的潮流，为更多的人带来智慧和启迪。（实战营第4期正在火热进行中，欢迎报名）s=csdn。
2024-11-29 13:46:55
1688
原创 基于华为昇腾910B，实战InternLM个人小助手认知微调
本文将带领大家基于华为云 ModelArts，使用 XTuner 单卡微调一个 InternLM 个人小助手。开源链接：（欢迎 star）
2024-11-28 18:09:55
1679
原创 玩转书生·浦语API（一）：LlamaIndex搭建RAG知识库实践
本文作者：祝岚、北辰、陈国旗本文为书生大模型实战营《InternLM+LlamaIndex RAG 实践》课程配套内容，结合视频课程学习效果更好哦~浦语+LlamaIndex 外挂知识库 RAG 实践本文将分为以下几个部分来介绍前置知识环境、模型准备是否使用 LlamaIndex 前后对比。
2024-11-28 16:47:15
860
原创 第一次用书生大模型，我做出了《黑神话：悟空》通关助手！
大模型统治深度学习的趋势不可阻挡，抱着“打不过就加入，多学点东西没坏处”的想法，博主利用下班时间摸索了些大模型相关的技术，蹭了蹭国产之光《黑神话：悟空》的热度，做了个有关黑神话的 AI 助手——悟了悟了。初版功能可以聊天查询游戏内容、攻略、背景故事等，后续会继续加入多模态、Agent 等功能。因为是刚入门（大佬们请跳过😂）涉及的技术主要是 LLM 的数据制作、训练、微调、量化、RAG 部署等。！！
2024-11-27 16:46:16
747
原创 强推理模型书生InternThinker开放体验：自主生成高智力密度数据、具备元动作思考能力｜通专融合探索新进展
上海人工智能实验室（上海AI实验室）致力于通过“”路径探索开放、可控、可信的通用人工智能（AGI），其关键技术之一在于同步提升深度推理与专业泛化能力。2024年11月25日，上海AI实验室展示了自主生成高智力密度数据、具备元动作思考能力的“模型”等一系列创新进展，并开放强推理模型书生InternThinker试用体验。该模型具备长思维能力，并能在推理过程中进行自我反思和纠正，从而在数学、代码、推理谜题等多种复杂推理任务上取得更优结果。（登录后点击左侧InternThinker即可体验）。
2024-11-27 16:33:29
1705
原创 使用 ollama 快速部署 InternLM2.5！
是一个用于部署和管理 LLMs 的工具，它可以帮助用户轻松地将复杂的模型部署到生产环境中。本文将介绍在 Linux 系统下如何使用 ollama 快速部署。
2024-11-26 17:09:56
2148
原创 7B 开源模型突破 IMO 形式化证明，霸榜数学竞赛
去年底，著名数学家、菲尔兹奖获得者陶哲轩就提出 AI 将加速数学研究，成为数学家的可靠伙伴，并且在形式化语言 Lean 的帮助下，成功证明了多项式 Freiman-Ruzsa 猜想。在今年的国际数学奥林匹克竞赛（IMO）上，谷歌Deepmind 推出的 AlphaProof 和 AlphaGeometry 2 和人类顶尖大脑同台竞技，以 28 分的惊人成绩获得银牌，和金牌仅有 1 分之差。AlphaProof 就是使用形式化语言 LEAN 进行命题的证明。
2024-11-15 15:14:38
879
原创 还在排队 SearchGPT？快来试试 MindSearch！
7 月 25 日，OpenAI 发布了其 AI 搜索的原型系统 SearchGPT，在社区引起轰动。社区小伙伴们纷纷加入了排队试用的名单。SearchGPT 将 LLM 和搜索引擎结合，试图成为我们搜集信息、探索知识、解决问题的重要工具。然而，鉴于年初的 Sora 到目前都还没未真正实现大规模体验，也有网友对今年用上 SearchGPT 持悲观态度。既然 SearchGPT 可能遥遥无期，那我们有没有开源平替免费尝鲜呢？今天，有了！
2024-11-15 15:06:46
938
原创 书生·浦语2.5开源，推理能力再创新标杆
2024 年 7 月 3 日，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书⽣·浦语2.5（InternLM2.5）。
2024-07-10 16:50:49
1135
原创 第二期书生·浦语大模型实战营优秀项目一览
Streamer-Sales 销冠 —— 卖货主播大模型 是一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。项目功能点如下：📜 精心设计的数据集生成流程🧰 使用 XTuner 在 InternLM2 上指令微调模型🚀 LMDeploy 加速推理🎙️ ASR 语音输入🔊 TTS 文字转语音输出📚 RAG 检索增强生成🌐 Agent 网络查询实时快递等信息🦸 主播数字人视频生成。
2024-06-25 19:15:31
1425
原创 LLM推理后端性能大比拼，来自BentoML团队的深度评估！
选择适宜的推理后端来服务大型语言模型 (LLMs) 至关重要。它不仅可以确保用户通过快速生成速度获得最佳体验，还可以通过 token 的高生成率和资源利用率降本增效。如今，开发者可以选择多种由知名研究和行业团队创建的推理后端。但是，为特定用例选择最佳后端可能具有挑战性。为了帮助开发者做出明智的决策，我们在 BentoCloud 上，分别使用 vLLM、、MLC-LLM、TensorRT-LLM 和 Hugging Face TGI 搭建了 Llama 3 推理服务，并对推理性能进行了全面的基准测试。
2024-06-14 15:38:33
980
原创 LMDeploy Windows 平台最佳实践
LMDeploy 支持在 Windows 平台进行部署与使用，本文会从以下几个部分，介绍如何使用 LMDeploy 部署 internlm2-chat-1_8b 模型。环境配置LMDeploy Chat CLI 工具LMDeploy pipeline (python)LMDeploy serving
2024-06-05 17:32:20
1131
原创 丝滑小连招，部署 Vision Language 模型
LMDeploy 自 v0.4.2 开始，支持 VL 模型 4bit 量化及推理部署。包括：llavainternvlqwen-vlminigeminiyi-vlLMDeploy 项目链接（文末点击阅读原文可直达，觉得好有欢迎点亮小星星）以上模型，除了 InternLM-XComposer2 外均采用 Llama 模型结构作为语言模块，而视觉模块则各有不同。
2024-05-30 20:21:53
774
原创 InternLM2-Math-Plus全面升级，全尺寸最强的开源数学模型
上海人工智能实验室在推出领先的开源数学模型InternLM2-Math的三个月之后对其进行了升级，发布了全新的 InternLM2-Math-Plus。升级后的 InternLM2-Math-Plus 在预训练和微调数据方面进行了全面的优化，显著提高了其在自然语言推理、代码解题以及形式化数学语言上的性能。
2024-05-28 14:26:07
1020
原创 LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备。
2024-04-26 17:27:28
1168
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人