书生大模型全链路开源体系

最新推荐文章于 2025-04-25 15:38:58 发布
最新推荐文章于 2025-04-25 15:38:58 发布
阅读量318 收藏 8
点赞数 5
文章标签： 开源 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yuetou/article/details/141144108
版权

简介

大模型是发展通用人工智能的重要途径。从专用模型（AlphaGo、人脸识别、德州扑克等）到通用大模型，一个模型应对多个任务、多种模态。

书生-浦语大模型

书生-浦语大模型陆续推出：

  • 2023.7.6，InternLM-7B：开源率先免费商用
  • 2023.9.20，InternLM-20B：200亿参数，开源工具链全线升级
  • 2024.1.17，InternLM2开源：性能超最新同量级开源模型
  • 2024.7.4，InternLM2.5开源

书生-浦语2.5概览

  • 推理能力领先
  • 支持100万字上下文
  • 自主规划和搜索完成复杂任务

从模型到应用

从模型到应用是一个长链条：模型选型-续训/全参数微调（算力足够）-部分参数微调（算力不足，如LoRA）-构建智能体（与外部系统进行交互）-模型评测-模型部署。

全链条开源体系

书生-浦语全链条开源体系：

  • 数据：书生-万卷
  • 训练框架：InternEvo
  • 评测：OpenCompass
  • 微调：XTuner
  • 部署：LMDeploy
  • 应用：Lagent、HuixiangDou、MindSearch、MindU

书生-万卷

50亿文档，1TB数据量
OpenDataLab 开放数据平台：30+模态，80TB数据

InternEvo

最低0.47元/天 解锁文章
yuetou
关注
L1G1000——书生大模型全链路开源体系
taoismimortal的博客
01-18 258
书生大模型全链路开源开放体系，由上海人工智能实验室精心打造，是一个全方位、一站式的人工智能开源平台。它旨在为全球的学术研究者、开发者以及行业应用专家提供从数据处理到模型部署的全流程支持，降低大模型研发的技术门槛，加速人工智能技术的普及与创新。
基础-1-书生大模型全链路开源体系
weixin_44120743的博客
08-09 1419
经典的问答大模型，智能体MindSearch，能够在挥发时更加的智能，更符合提问的需求，还能由此生成更进一步的内容，类如下图中的思考。利用模型的能力辅助人工标注，提高数据标注的效率和质量，进一步优化模型的训练数据。这些核心技术思路体现了书生大模型在设计和开发过程中的迭代、数据驱动和智能化的特点，旨在通过不断的自我优化和学习，提高模型的性能和适应性，以满足各种复杂的应用场景。书生大模型的开源工具体系为用户提供了从模型训练到部署的全链条支持，有：模型训练框架、数据处理工具、模型评估工具、模型部署方案。
第四期书生大模型实战营【基础岛】—— 书生大模型全链路开源体系
weixin_45730545的博客
02-07 909
您可以轻松部署它来构建您自己的搜索引擎，可以使用闭源 LLM（如 GPT、Claude）或开源 LLM（InternLM2.5 系列模型经过专门优化，能够在 MindSearch 框架中提供卓越的性能；）是一种评估方法，它通过在长文本中随机插入关键信息，形成大型语言模型(LLM)的Prompt。基于InternEvo训练框架，我们累计发布了一系列大语言模型，包括InternLM-7B系列和InternLM-20B系列，这些模型在性能上显著超越了许多知名的开源LLMs，如LLaMA和其他模型。
主流开源 LLM 应用开发平台详解
爱的叹息的专栏
04-23 991
主流开源 LLM 应用开发平台详解
高性能的开源网络入侵检测和防御引擎:Suricata介绍
学习、研究、分享、推广AI及IT在企业等组织中应用的博客
04-23 1054
在Debian Linux下使用 Suricata 更加方便和强大。通过 apt 包管理器安装，编辑 /etc/suricata/suricata.yaml 进行配置，使用 systemctl 管理服务，以及查看 /var/log/suricata/ 下的日志文件，你可以轻松地进行网络流量分析和入侵检测。记得定期更新规则以保持 Suricata 的有效性。
【开源】STM32HAL库驱动ST7789_240×240（硬件SPI+软件SPI）
wan1234512的博客
04-23 472
调试移植了一款ST7789的屏幕，使用HAL库分别用软件和硬件SPI驱动成功，文中描述了移植时候遇到的BUG
应激的Llama，开源的困局
脑极体
04-24 609
而相比GPT-4o的多模态架构，Llama 4的改进更像是仰赖Scaling law的小修小补，疯狂堆叠参数，忽略了对底层架构的探索。发布第二天就有内部员工爆料，Llama4的基准测试存在严重造假，模型远远达不到开源sota标准，但为了赶在四月底前发布，领导将各个benchmark的测试集混合在post-training过程中，拿出了一个“看起来可以”的结果。更重要的是，前期AI大模型主要是打口碑效应，一旦落后，市场竞争力就会下降，而失去用户和合作伙伴的Llama在行业内部也逐步失去了辨识度。
开源交易所源码，交易所开发
2502_91163200的博客
04-24 658
这是一个专注于Web3相关开发的账号，具体会讲解步骤以及开发方案偶尔会有科普，有兴趣的可以点右上角关注一下开发一个开源的数字货币合约交易所是一个复杂但可行的项目，需要结合技术、安全、合规和社区运营等多方面考虑。
活动预告丨CCF开源发展委员会“开源高校行”第三十九期—电子科技大学站
CCF开源发展委员会的博客
04-22 323
CCF开源发展委员会(CCF ODC)秉承创新、开放、协作、共享的理念和价值观，聚焦打造自身开源的新型开源创新服务平台，培育孵化原始创新的开源项目，培养开源创新实践人才。依托CCF链接科教资源、产业资源和社会资源等，形成产、学、研、用联动的开源创新模式，探索由学术共同体主导的开源发展新路径，为中国计算机学会会员乃至全球开源创新实践者提供高水平服务，助力开源生态建设。在数字化转型的浪潮中，开源人才的培养是信息技术创新发展的重要根基，高校学子作为我国开源生态的源头活水备受重视。点击阅读原文进入官网。
【最新版】西陆健身系统源码全开源+uniapp前端
weixin_65864514的博客
04-24 332
一款基于Uniapp+ThinkPHP开发健身系统，支持多城市、多门店，包含用户端、教练端、门店端、平台端四个身份。有团课、私教、训练营三种课程类型，支持在线排课。私教可以通过上课获得收益，在线申请提现。目前Uniapp支持编译微信小程序。提供全部无加密源代码，支持私有化部署。
开源AI开发工具：OpenAI Codex CLI
学习、研究、分享、推广AI及IT在企业等组织中应用的博客
04-22 1804
OpenAI Codex CLI是一款开源命令行工具，可将我们最新推理模型的强大功能直接带到您的终端。它充当轻量级的编码代理，可以在您的本地计算机上读取、修改和运行代码，从而帮助您更快地构建功能、修复错误并理解不熟悉的代码。由于 CLI 在本地运行，因此除非您选择共享，否则您的源代码永远不会离开您的环境。
Apache SeaTunnel：新一代开源、高性能数据集成工具
Tony.Dong的专栏
04-22 1176
Apache SeaTunnel 是一款开源、分布式、高性能的数据集成工具，可以通过配置快速搭建数据管道，支持实时海量数据同步。
关于开源大模型（如 LLaMA、InternLM、Baichuan、DeepSeek、Qwen 等）二次开发或训练经验的关键点和概述
最新发布
weixin_40941102的博客
04-25 533
中国的大模型接口对“response”功能（如工具调用和结构化输出）的支持相对有限，这可能导致它们在某些复杂任务上的表现不如 OpenAI 的 Responses API。然而，部分模型如 Qwen 已经具备这些能力，显示中国在基础建设上有所投入，但行业标准和接口设计的国际化程度仍有提升空间。
《开源大模型选型全攻略：开启智能应用新征程》
zheng_ruiguo的专栏
04-22 1091
在当今数字化浪潮中，人工智能的发展可谓日新月异，而开源大模型作为其中的关键驱动力，正以惊人的速度改变着各个领域的面貌。从智能客服高效解答客户疑问，到智能写作助力创作者灵感迸发，开源大模型展现出了强大的应用潜力。然而，面对市场上琳琅满目的开源大模型，如何精准选型，成为众多企业和开发者面临的首要难题。本文将深入剖析开源大模型选型的关键要素，为您的智能应用之路点亮明灯。
开源状态机引擎，在实战中可以放心使用
红豆和绿豆的博客
04-22 954
更多使用细节和高级特性可以参考 [Squirrel-Foundation 官方文档](https://hekailiang.github.io/squirrel/) 或其 [GitHub 仓库](https://github.com/hekailiang/squirrel)。- **项目地址**：[https://github.com/hekailiang/squirrel](https://github.com/hekailiang/squirrel)// 定义状态机事件。##### 3. 定义状态机。
【开源】STM32HAL库移植Arduino OneWire库驱动DS18B20和MAX31850
wan1234512的博客
04-23 583
STM32HAL库移植Arduino的OneWire库实现驱动DS18B20和MAX31850
白鲸开源WhaleStudio与崖山数据库管理系统YashanDB完成产品兼容互认证
Apache DolphinScheduler开源社区
04-24 344
近日，北京白鲸开源科技有限公司与深圳计算科学研究院联合宣布，双方已完成产品兼容互认证。
书生大模型L1G1000
03-08
### 书生大模型 L1G1000 技术文档概述 书生大模型全链路开源体系提供了详尽的技术文档，涵盖了从基础架构搭建到具体应用场景实现的各个方面[^3]。该体系由上海人工智能实验室开发，旨在为用户提供全面的支持。 #### 主要组成部分 - **数据处理工具**：提供了一系列高效的数据预处理方法和技术，确保输入数据的质量和一致性。 - **技术栈**：包括但不限于自然语言处理(NLP)，计算机视觉(CV)等领域所需的各种算法库和支持框架[^2]。 - **应用实例** - **MINSEARCH**: 基于AI驱动的搜索引擎解决方案，利用先进的检索技术和机器学习优化搜索体验。 - **RAG (Retrieval-Augmented Generation)**: 将传统的信息检索系统与现代的语言生成能力相结合，实现了更精准的内容理解和表达转换服务。 - **LabelLLM Project**: 提供了一套完整的自动化标签生成流程，极大地方便了NLP任务中的数据标注工作。 - **OpenCompass Platform**: 构建了一个公开透明的大规模评测环境，有助于推动整个行业的健康发展并提高模型评估的标准性。 ```python # 示例代码片段展示如何加载预训练好的BookSheng模型进行推理预测 from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("shanghaiai/booksheng-l1g1000") model = AutoModelForCausalLM.from_pretrained("shanghaiai/booksheng-l1g1000") input_text = "你好世界" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 此段Python脚本展示了通过Hugging Face Transformers库快速上手使用书生大模型的方法之一。只需几行简单的命令即可完成对给定文本序列的编码解码操作，并获得相应的输出结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值