书生大模型全链路开源体系——L1G1

已于 2025-02-02 15:42:03 修改
阅读量167 收藏 1
点赞数 5
文章标签： 语言模型 python
于 2025-02-01 09:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_57253447/article/details/145409432
版权

书生大模型全链路开源体系

mind Search（搜索引擎）的一个项目搭建，可以解决日常调研

在这里插入图片描述

在这里插入图片描述

书生全链条开源，

在这里插入图片描述

pdf直接提取初文本内容。

在这里插入图片描述

Xtuner，微调框架

支持的算法是两种，QLoRA， LoRA微调，全参数微调（个人电脑带不动）

相比较与LLama微调效果较好

OpenCompass评测体系

在这里插入图片描述

最低0.47元/天 解锁文章
ricky_fan
关注
【书生大模型实战】L1G1-书生大模型全链路开源体系
weixin_63863816的博客
12-03 1567
采用了更高效的模型结构，拥有卓越的推理能力，能处理1M超长上下文、互联网搜索与信息整合的复杂任务。专门针对约1000亿高质量数学问题惊醒定向训练后的数学领域专项大语言模型，巨额被用Lean语言处理、解答、证明、检验以及曾倩数学问题的能力，同时，还能作为奖励模型辅助其他大语言模型在数学专业能力上的进一步提升。基于InternLM2.5-7B的先进视觉大语言模型，能根据大纲、详细文本要求和参考图片灵活生成含图文章，并精确处理各种视觉问答任务。
书生大模型实战营L1G1书生大模型全链路开源体系
sxrrxs的博客
11-12 401
经历了这一年以来的努力，书生已经从大模型的全链路进行了打通。从数据的收集整理，数据标注到模型训练模型，微调模型评测，再到基于模型的agent rag搜索引擎，最后以及AI应用的部署都进行了方案实现以及开源。
L1G1 关卡 1 全链路开源开放体系的笔记（书生大模型）
weixin_51568152的博客
12-08 216
**模型组件**：包括InternLM系列多语言基础模型和聊天模型，InternLM-Math双语数学推理LLM，以及InternLM-XComposer视觉语言大型模型（VLLM）。- **工具链组件**：包括InternEvo轻量级框架、XTuner微调工具包、LMDeploy部署工具包、Lagent轻量级框架和AgentLego多功能工具API库。- **预训练模型**：InternLM，基于Transformer架构的预训练模型。- **微调工具**：XTuner，支持全参数微调和低成本微调。
【书生实战营】L1G1-书生大模型全链路开源体系
Chris_Tang6的博客
11-18 159
AgentLego：用于扩展和增强基于大语言模型的代理的多功能工具 API 库，与 Lagent、Langchain 等兼容。InternLM-XComposer：一个基于 InternLM 的视觉语言大模型（VLLM），用于高级文本图像理解和合成。XTuner：用于高效微调大语言模型的工具包，支持各种模型和微调算法。Lagent：允许用户高效构建基于大语言模型的代理的轻量级框架。InternLM-Math：最先进的双语数学推理大语言模型。LMDeploy：用于压缩、部署和服务大语言模型的工具包。
internlm实战营L1G1internlm开源开放体系
weixin_61861097的博客
12-05 325
不同参数类型的Internlm的对比，视频中作者认为20B以上的模型能力出现井喷，并提出未来大模型能力可以在不使用RAG的情况下表现出较强的推理以及长文本检索能力。最新版Informer LM 2.5拥有卓越的推理能力和长达百万级别的上下文容量，在某些指标上甚至超过同类开源模型。internlm使用高质量的合成数据进行训练，包括给现有代码添加注释，数学推理以及基于人类反馈数据生成。internlm在大海捞针实验中在模型大小为7B的情况下longbench指标下优于QWEN2等模型。
Python 的内置函数 any
IMPYLH的博客
06-09 391
any()函数用于判断可迭代对象中是否存在至少一个为True的元素，它就像是一个"是否存在"的快速检测器。想象一下，当你需要检查列表中是否有元素满足某个条件时，any()可以让你用一行代码就搞定原本需要多行循环才能实现的功能。接下来，让我们一起探索这个函数的用法、原理和实际应用场景吧！
Seaborn入门到上头：让数据可视化变成享受的艺术（附防秃指南）
kernelcraft的博客
06-11 812
这个基于Matplotlib的统计绘图库，简直就是数据分析师的时尚造型师。悄悄说个骚操作：先用Seaborn画基础图，再用Matplotlib微调细节，效率颜值两不误！（重要的事情说三遍！）Matplotlib是必须的！Matplotlib是必须的！Matplotlib是必须的！最后送大家一句Seaborn哲学：如果一个图需要超过5句代码，那肯定有更优雅的写法！Seaborn是高级封装，Matplotlib是底层引擎。对角线放直方图，上半部分散点图，下半部分密度图——这才是探索数据关系的正确姿势！
Python测试框架库之pytest使用详解
Rocky006的博客
06-13 452
pytest作为Python测试领域的领先框架，以其简洁的语法、强大的功能和丰富的生态系统赢得了广泛认可。从基础的单元测试到复杂的集成测试，pytest都能提供优雅的解决方案。其fixture机制、参数化测试和灵活的配置选项，使得测试代码的编写和维护变得更加高效。
Python 基础教程（十二）：12 .1 项目实践（简单计算器）
univerbright的博客
06-09 413
通过实际的小项目，将前面学到的 Python 基础语法、流程控制、函数定义、异常处理等知识进行综合运用。本章以几个循序渐进的小项目为例，帮助读者在实践中理解编程逻辑，提高编程能力。本项目实现一个基于命令行的简单计算器，支持加、减、乘、除四种基本运算，输入两个数字和运算符，即可返回运算结果。结果：12.0 / 3.0 = 4.0。请输入运算符 (+ - * /)：/请输入运算符 (+ - * /)：%无效的运算符，请重新输入。请输入第一个数字：12。请输入第二个数字：3。请输入第一个数字：7。
强化学习 A2C算法
tony365的博客
06-13 505
更准确地说，Reinforce 是 基于策略的方法 的一个子类，称为 策略梯度方法。在基于策略的方法中，我们的目标是直接优化策略，而无需使用价值函数。更准确地说，Reinforce 是 基于策略的方法 的一个子类，称为 策略梯度方法。然而，因为我们使用蒙特卡洛采样来估计回报（我们使用整个 episode 来计算回报），所以我们在策略梯度估计中存在显着的方差。然而，因为我们使用蒙特卡洛采样来估计回报（我们使用整个 episode 来计算回报），所以我们在策略梯度估计中存在显着的方差。
Python 抽象基类中的 subclasshook 方法解析
钢铁男儿
06-10 705
方法为 Python 抽象基类识别虚拟子类提供了便利，但在自定义抽象基类时，要谨慎使用该方法，优先考虑继承和注册的方式来保证代码的可靠性。
flowable流程引擎开发记录
u014642921的博客
06-12 131
全部中区分运行和结束。
预训练模型 CBAM注意力
zx15600886035的博客
06-10 726
在更理想的情况下，如果能让 attention 图的值都趋近于 sigmoid 函数的反函数中对应输出为1的值，那么CBAM就近似于一个“直通车”(x * 1 = x)，网络可以选择“忽略”它。给专家（预训练层） 设置一个极低的学习率（比如1e-5），告诉他们：“你们基本保持现状，只需要根据实习生的表现做一些微小的调整即可。但是你要注意，最后的卷积形式是 卷积--激活--池化--全连接，如果你放置前全连接前的话，cbam中的空间注意力会完全失效，因为此时空间维度不存在了，失去了寻找空间相关性的能力。
学习爬虫中requests库的建议路线
cs77711的博客
06-12 208
requests库需要掌握的技术
突然无法调用scikit-learn、xgboost
sunyao_123的博客
06-09 518
无法使用scikit-learn
bilibili-mcp 使用示例
No trade is free, but my contents are.
06-10 1056
将函数注册为 MCP 工具，可被外部调用。函数获取 B 站 API 数据。确保最多返回 10 个视频。：返回结构化的字典列表。
Java性能问题排查
最新发布
一名80后IT人的成长记录，记录自己在工作、学习中的点点滴滴，在成长的喜悦与忧心的故事里，铭记反脆弱的勇气。
06-13 212
本文介绍了Java性能排查的基本方法和常用工具。重点讲解了jmap工具的使用，包括查看内存对象分布(-histo)、生成堆转储文件(-dump)和分析堆内存(-heap)。同时介绍了jstat工具监控GC行为，包括查看GC次数(-gc)、内存使用率(-gcutil)和各代容量(-gccapacity)。这些命令组合使用可有效诊断Java应用的内存泄漏、GC问题和线程阻塞等性能问题。
Python yield 语法详解：从入门到精通
2501_91537435的博客
06-12 293
Python yield 语法详解：从入门到精通
【开源工具】：基于PyQt5的智能网络驱动器映射工具开发全流程（附源码）
白泽的博客
06-12 902
本文介绍了一款基于PyQt5开发的智能网络驱动器映射工具，该工具通过图形化界面简化了传统命令行操作流程。主要功能包括：一键式网络驱动器映射与清理、实时状态监控、持久化配置和深度清理机制。文章详细解析了核心开发技术，如Emoji图标渲染、组合清理命令实现、Win32 API调用等，并提供了界面设计技巧和样式表美化方案。这款工具特别适合企业IT运维场景，能有效提升网络驱动器管理效率，解决Windows系统常见的连接残留问题。通过开源项目实战，读者可以学习PyQt5界面开发与系统集成的关键技术。
书生大模型L1G1000
03-08
### 书生大模型 L1G1000 技术文档概述 书生大模型全链路开源体系提供了详尽的技术文档，涵盖了从基础架构搭建到具体应用场景实现的各个方面[^3]。该体系由上海人工智能实验室开发，旨在为用户提供全面的支持。 #### 主要组成部分 - **数据处理工具**：提供了一系列高效的数据预处理方法和技术，确保输入数据的质量和一致性。 - **技术栈**：包括但不限于自然语言处理(NLP)，计算机视觉(CV)等领域所需的各种算法库和支持框架[^2]。 - **应用实例** - **MINSEARCH**: 基于AI驱动的搜索引擎解决方案，利用先进的检索技术和机器学习优化搜索体验。 - **RAG (Retrieval-Augmented Generation)**: 将传统的信息检索系统与现代的语言生成能力相结合，实现了更精准的内容理解和表达转换服务。 - **LabelLLM Project**: 提供了一套完整的自动化标签生成流程，极大地方便了NLP任务中的数据标注工作。 - **OpenCompass Platform**: 构建了一个公开透明的大规模评测环境，有助于推动整个行业的健康发展并提高模型评估的标准性。 ```python # 示例代码片段展示如何加载预训练好的BookSheng模型进行推理预测 from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("shanghaiai/booksheng-l1g1000") model = AutoModelForCausalLM.from_pretrained("shanghaiai/booksheng-l1g1000") input_text = "你好世界" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 此段Python脚本展示了通过Hugging Face Transformers库快速上手使用书生大模型的方法之一。只需几行简单的命令即可完成对给定文本序列的编码解码操作，并获得相应的输出结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值