internLM全链路开源体系

最新推荐文章于 2025-03-06 16:40:27 发布
最新推荐文章于 2025-03-06 16:40:27 发布
阅读量430 收藏 10
点赞数 4
CC 4.0 BY-SA版权
文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41173201/article/details/137123683
本文概述了大模型从专用到通用的发展，重点介绍了InternLM开源历程，包括InternLM2的7B和20B模型及其增强版本，强调了微调、算力、智能体和全链条开源工具的重要性。同时提到了评测体系和多模态智能体工具AgentLego的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大模型逐渐从专用大模型向通用大模型转变,即一个模型对应多种任务和模态.

书生浦语大模型开源历程

2023年6月发布InternLM第一代大模型,一个月后开源模型及全链条工具体系

8月开源多模态语料库 chat7B以及lagent

9月开源InternLM20B并且升级全线开源工具链

2024年1月17日 InternLM2 开源

InternLM2体系

InternLM2有7B(Billion)和20B两种不同参数量级的模型,前者更轻量级,后者能支持更复杂的场景.

每个参数规格包含三种不同的模型版本

InternLm2-Base 基座模型

InternLM2 通过base在多个能力上进行了强化

InternLM2-Chat 在base基础上经过SFT和RLHF,面向对话交互进行了优化.简单来说就是注入一些人的对话思维

SFT(Supervised Fine-Tuning) 监督微调

RLHF(human feedback) 基于人类反馈的强化学习

InternLM2的主要亮点

InternLM2的全链条开源体系

上图里可以看到大模型不只是微调,还有其他重要的环节:算力也是大模型开发微调很重要的一个因素; 智能体可以赋予大模型更强大的能力; 对模型的测评可以对模型的能力有更清晰的评估

而InternLM2从数据到模型落地的整个流程都有工具支持

数据

值得一提的是书生万卷cc对有毒性/色情/个人隐私信息都进行了安全加固处理,可能会对舆情监控有所帮助

预训练

微调

大语言模型的下游应用中,增量续训和有监督微调是经常会用到的两种方式

增量训练是指让base学习到新知识,训练数据一般有文章\书籍\代码等

有监督微调是让大模型学会理解指令进行对话或少量注入领域知识,训练数据一般是高质量对话及问大数据

微调一般也分为全量参数微调和部分参数微调

适配的微调工具为XTuner

实际应用下来感觉确实比较好用,但是8GB还是不太够,侧面也反映了算力对大模型来说是个关键因素

评测

2024年1月30日 OpenCompass司南大模型评测体系 正式发布

一些评测结果, 看起来国外还是比较领先的,也反映了一些大模型的公共短板

部署

智能体

我理解起来智能体就像是一些比较有针对性的小模型,就像小组件可以丰富大模型

还有多模态智能体工具箱AgentLego,有很多前沿算法,尤其是针对视觉和多模态的

霓霓7053
关注
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 2119
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生大模型全链路开源体系学习记录（InternLM）
m0_60803679的博客
10-03 1305
2024.01.17] 发布了 InternLM2-7B 和 InternLM2-20B 以及相关的对话模型，InternLM2 在数理、代码、对话、创作等各方面能力都获得了长足进步，综合性能达到开源模型的领先水平。[2024.08.01] 发布了 InternLM2.5-1.8B、InternLM2.5-1.8B-Chat、InternLM2.5-20B 和 InternLM2.5-20B-Chat。合成数据融合多种方式：基于规则的数据改造、基于模型的数据扩充、基于反馈的数据生成。
InternLM 全链路开源体系
顶级小学生
03-30 346
书生 浦语全链路开发体系：从数据到最后的应用，都有相应开源工具，其中模型，和数据集都有很好的开源支持。
书生大模型全链路开源体系
weixin_46836850的博客
07-25 1815
2023年6月7日InternLM千亿参数语言大模型发布。2023年7月6日，InternLM千亿参数大模型全面升级，支持8K语境、26种语言，并全面开源，免费商用。2023年8月14日，书生万卷1.0多模态预训练语料库开源发布。2023年8月21日，升级版对话模型InternLM-Chat-7B v1.1发布，同时开源智能体框架Lagent，支持从语言模型到智能体升级转换。2023年8月28日，InternLM千亿参数模型参数量升级到123B。
【InternLM2.5】全链路开源体系
yikshing的博客
08-09 264
有趣的【思索】方法：mindsearch。
书生·浦语：全链路开源体系介绍
qq_18608609的博客
08-07 1158
InternLM2根据规格分类分为7B和20B两种模型，其中20B综合性能更强，可以支持更加复杂的使用场景。而按使用需求分类，则有InternLM2-Base、InternLM2和InternLM2-Chat三种。其中，InternLM2在Base基础上进行了多个能力方向的强化，而Chat版本则经过SFT和RLHF优化，具备指令遵循、共情聊天和调用工具等能力。书生浦语2.0主要亮点包括超长上下文、综合性能、对话和创作体验、工具调用能力以及数理能力和数据分析功能。
书生·浦语大模型全链路开源体系介绍
2401_85373396的博客
06-03 1130
随着人工智能技术的迅猛发展，大模型技术已成为当今人工智能领域的热门话题。2022 年 11 月 30 日，美国 OpenAI 公司发布了 ChatGPT 通用型对话系统并引发了全球 的极大关注，上线仅 60 天月活用户数便超过 1 亿，成为历史上用户增长最快的互联网 应用产品。2023 年 3 月 14 日，OpenAI 公司再次发布了升级版模型 GPT-4 又展现 出了更高阶的能力，再一次实现了技术飞跃，并在全球范围掀起大模型发展浪潮。
书生大模型全链路开源开放体系笔记
a17919的博客
03-06 947
a.InternLM2.5采用更高效的模型结构,拥有更卓越的推理能力,能处理1M超长上下文、互联网搜索与信息整合等复杂任务其，开源了应用场景最广的轻量级7B版本,模型兼顾速度、效率与性能表现。书生大模型旨在构建一个全链路开源开放体系，涵盖从数据到应用的各个环节，降低大模型的研发门槛，推动通用人工智能（AGI）的普及与发展。推动产业应用，加速技术落地。书生大模型全链路开源开放体系由上海人工智能实验室推出，涵盖数据、预训练、微调、评测、部署和应用六大环节，旨在降低大模型研发与应用门槛，推动通用人工智能发展。
InternLM系列模型全链路开源开放体系
qq_33382118的博客
08-09 539
体系在数据这块有丰富多样的开源数据包括60亿的图像，1万亿的tokens预料、2万小时音频、8亿片段视频、1百万3d模型，模态有30+,数据集7700+，数据大小180TB。在提取数据提供工具与服务，支持10+搜索条件组合的灵活检索、高速下载单文件速度至少20M/s、支持30+工具组合进行智能标注，采集速度比一般的提高40%。minerU是一站式开源高质量数据提取工具，支持多格式(PDF/网页/电子书)，智能萃取，生成高质量预训练/微调语料。全场景训练预训练+微调+RLHF和全场景覆盖。
InternLM第四期基础岛第1关书生大模型全链路开源体系
KK_427的博客
11-08 443
2024年7月4日，InternLM2.5开源，推理能力领先，支持100万字上下文，可以自主规划和搜索完成复杂任务。轻量级智能体框架Lagent，支持多种类型的智能体能力，灵活支持多种大语言模型，简单易拓展，支持丰富的工具。huixiangdou是群聊场景LLM知识助手，忽视无关的问题，直接回复明确的回答，不违背核心价值观。2023年7月6日，InternLM-7B开源率先免费商用，发布全链条开源工具体系。给模型一个超长的背景知识，模型是否能够非常准确的定位到相关的位置。b.基于模型的数据扩充。
书生浦语大模型实战营——第一课: InternLM大模型全链路开源体系
m0_61736727的博客
01-05 710
针对特定任务，特定场景，一个模型解决一个问题。eg：ImageNet的图像分类。：学完课程后对langchain的学习，可能之后会用到！一个模型应对多种任务。eg：ChatGPT。书生万卷-2TB数据，涵盖多种模态与任务。全参数微调或部分参数微调。
基础-1-书生大模型全链路开源体系
weixin_44120743的博客
08-09 1440
经典的问答大模型，智能体MindSearch，能够在挥发时更加的智能，更符合提问的需求，还能由此生成更进一步的内容，类如下图中的思考。利用模型的能力辅助人工标注，提高数据标注的效率和质量，进一步优化模型的训练数据。这些核心技术思路体现了书生大模型在设计和开发过程中的迭代、数据驱动和智能化的特点，旨在通过不断的自我优化和学习，提高模型的性能和适应性，以满足各种复杂的应用场景。书生大模型的开源工具体系为用户提供了从模型训练到部署的全链条支持，有：模型训练框架、数据处理工具、模型评估工具、模型部署方案。
假装情侣匿名聊天室：体验即刻式浪漫
08-05
资源下载链接为： https://pan.quark.cn/s/abbae039bf2a 用户端：无需注册，用户进入后随机匹配异性进入聊天室。系统会随机分配房间、情侣头像及聊天话题，用户可发送自定义图片，还能通过输入法键盘输入并发送 emoji。当聊天室倒计时快结束时，用户可选择延长房间时间。聊天内容会经过过滤处理。 后台管理端：登录后台管理地址，账号为 admin，密码为 admin。后台可实时监控聊天情况，上传情侣头像和创建聊天话题，查看各房间的聊天记录。 安装步骤：将 anonymous_chat.sql 文件导入到 mysql 数据库中。修改 Application/chat/config.php 文件。 运行方式： Windows 服务器：只需双击 .bat 文件即可启动。 Linux 服务器：进入项目根目录，在终端输入命令以 debug（调试）方式启动，命令为 php start.php s。 注意事项：服务端可放置在服务器的任意位置，只要能成功运行即可。该系统同时支持 Windows 服务器和 Linux 服务器，但两者的运行方法有所不同。
装修公司网络营销推广方案.pdf
最新发布
08-06
装修公司网络营销推广方案.pdf
夏色四叶草安卓版.apk
08-05
夏色四叶草安卓版.apk
软件工程9大核心开发模型对比与应用指南：全面解析软件工程中各开发模型的特点与选型策略
08-05
内容概要：本文档详细解析了软件开发中的9大核心模型，包括瀑布模型、V模型、迭代模型、增量模型、螺旋模型、敏捷模型、快速原型模型、喷泉模型和演进型原型模型。通过对每个模型的核心特点、优点、缺点及适用场景的分析，结合对比表格、案例详解和决策树，为开发者提供了完整的选型指南。文中还列举了多个典型行业应用案例，如金融核心系统的瀑布+V模型、游戏开发的喷泉+敏捷模型以及智能硬件的演进型原型模型，展示了不同模型在实际项目中的应用效果。最后总结指出，传统模型适用于高可靠领域，而敏捷与原型模型则更适合互联网快速试错的环境，混合模型如“瀑布+敏捷”的应用趋势逐渐显现。 适合人群：具备一定软件工程基础知识的开发人员、项目经理及软件工程师，尤其是有1-3年工作经验的技术人员。 使用场景及目标：①帮助开发者理解不同开发模型的特点与差异；②为项目选型提供参考依据，确保选择最适合项目的开发模型；③通过案例分析提升实际应用能力，提高项目成功率。 其他说明：本文不仅介绍了各个模型的理论知识，还结合实际案例进行详细剖析，建议读者结合自身项目需求进行深入研究，并在实践中不断探索和优化，以找到最适合自己项目的开发模型。
词袋模型算法库，用于识别相似图像
08-05
资源下载链接为： https://pan.quark.cn/s/64d9b3521fcd 词袋模型算法库，用于识别相似图像（最新、最全版本！打开链接下载即可用！）
人脸识别CNN模型 matlab源码
08-05
人脸识别技术是一种通过分析和比较人脸图像特征来识别或验证个体身份的计算机视觉方法，其中基于卷积神经网络（CNN）的实现尤为关键。CNN是一种深度学习模型，适用于处理图像等二维结构数据，由卷积层、池化层、全连接层等组成，能够自动学习图像的局部特征并进行层次化抽象。常见的人脸识别CNN模型包括VGGFace、FaceNet、OpenFace等，通常包含预处理步骤和多层卷积及全连接层，最终通过分类器完成识别。MATLAB提供了深度学习工具箱，支持创建、训练和评估CNN模型，通过`convnet`、`trainNetwork`、`classify`等函数实现模型构建、数据预处理、训练和测试。人脸识别技术已广泛应用于安全系统、社交媒体和监控执法等领域。资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值