InternLM：基础岛

原创 已于 2024-09-03 19:06:02 修改 · 382 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ai

于 2024-09-03 15:18:15 首次发布

第一关：书生大模型全链路开源体系

高质量合成数据

LLM 产品线 - 按模型大小

据说 20B 以上的有涌现，7B 及一下还是有一点基于训练数据的感觉

全流程产品线

全链条的环节包括：数据 - 预训练 - 微调 - 部署 - 评测 - 应用

ailab 开源了每个环节的库和框架

环节：数据

目前提供 30 余种数据集。主要数据类型有图像，视频，tokens 语料，3D 模型，音频。

对于数据提取和数据标注环节，ailab 提供了 Miner U 数据提取工具，提取 PDF 中的语料信息；也提供了 Label LLM/Label U 数据标注工具

环节：预训练

InternEvo 预训练框架支持分布式训练（跨 GPU），可以让更大的模型跨 GPU 跑起来。

环节：微调

XTuner 支持目前市面上的主流格式。该框架可以将市面上的格式转化成统一的内部格式，然后进行微调。Flash Attention 是自动开启的。主要支持 QLoRA 算法和 LoRA 算法。

环节：评测

OpenCompass 是评测框架，得到了 Meta 的认证，并参与了国标制定。

环节：部署

环节：智能体

模型在一些方面具有局限性，如持续学习最新的信息、提供可靠的回复、严谨数学计算、工具使用和交互。因此，可以把模型和工具结合

学术界主流的框架有三种，ReAct, ReWoo,  AutoGPT

应用：构建企业级知识库

ailab 做了一个叫 huixiangdou 的工具。主要支持 RAG 检索增强生成和 KG 知识图谱两种模式

dilvx
关注
InternLM: 基础岛 - 提示词工程 prompt engineering
dilvx的博客
09-04 545
提示词工程通过调整 prompt 改善模型性能、控制输出结果。prompt = 预设 prompt + 用户输入 + 之前轮次模型输出RAG, Agent 本质也是一种 prompt 工程。RAG 是检索增强生成 (Retrieval-Augmented Generation)。旨在解决模型在生成长文本时可能出现的信息缺失、内容一致性和相关性等问题。
入门岛 - InternLM基础知识
纸上得来终觉浅 绝知此事要躬行
07-10 284
请实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。
InternLM: 基础岛 - XTuner 微调
dilvx的博客
09-15 1617
LoRA（Low-Rank Adaptation）是一种使用低精度权重对大型预训练语言模型进行微调的技术，它的核心思想是在不改变原有模型权重的情况下，通过添加少量新参数来进行微调。这种方法降低了模型的存储需求，也降低了计算成本，实现了对大模型的快速适应，同时保持了模型性能。然而，由于使用了低精度权重，LoRA 的一个潜在的缺点是在微调过程中可能会丢失一些原始模型的高阶特征信息，因此可能会降低模型的准确性。QLoRA（Quantized LoRA）微调技术是对 LoRA 的一种改进，它通过引入高精度权重和。
【InternLM】入门岛：Python 基础知识
weixin_44867290的博客
08-04 369
用到第三方包debugpy，listen是监听端口，wait-for-client等待连接上才发起debug流程，./myscript.py是debug文件。ge: 第一个词，hello，因为没有出现过，所以记一个次数。这种方式的好处是可以直接在命令行添加参数。发起debug server的命令。安装debugpy包。
【InternLM】入门岛：Git基础知识
weixin_44867290的博客
08-04 216
把自我介绍的内容提交到自己创建的一个分支上面。
【InternLM】入门岛：Linux基础知识+InternStudio 关卡
weixin_44867290的博客
08-01 353
1]【Linux前置基础知识】https://www.bilibili.com/video/BV1FS421d7yg/?[2] 【Linux+InternStudio 关卡】: https://github.com/InternLM/Tutorial/blob/camp3/docs/L0/Linux/readme.md。复制登录命令和密码，在vs code里面操作。在powershell里面输入命令。命令安装gradio依赖包。回到开发机平台添加密钥。在开发机平台创建了一个。这样就可以在本地访问。
InternLM 基础岛 - LlamaIndex RAG
dilvx的博客
09-06 283
RAG 有效支持了知识密集型任务。通过 RAG，bot 可以缓解 LLM 输出时生成幻觉、存在过时知识等问题。一点小思考：RAG 侧重于读取 up-to-date, non-fake 的知识，agent 则侧重于调用工具。基于 LlamaIndex 框架搭建 RAG 应用。
InternLM 基础岛 - OpenCompass 司南评测
dilvx的博客
09-20 1031
OpenCompass 按模型的类型进行评测，对基座模型和对话模型采用不同的评测方式；或通过加载模型文件 (pth, hf) 评测。在长文本中随机位置插入一个与语料无关的语句，考察模型能否记住长文本中的信息。（笔者问：似乎在诱导模型更关注奇异的语料）在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。客观评价只要回答出来了正确的答案即可；主观评测需要模型/人工介入打分（e.g. 问 GPT：给两首诗打分）提供了榜单，投票社区，评测工具。
internLM 入门岛-Linux基础
qpj297的博客
07-10 531
创建文件夹然后用conda create创建环境即可（由于root目录外会清楚数据 所以需要指定目录）指定43646地址 登录root用户 地址为ssh.intern-ai.org.cn。如ssh -p 43646 root@ssh.intern-ai.org.cn。输入ssh连接命令（仅在win10版本以上可用）ssh {可选参数} {用户名}@{地址}使用ssh的-L参数 指定映射的端口与地址。nvidia-smi与studio-smi。-g 允许转发到其他的主机地址。./ test.sh 运行脚本。
InternLM大模型基础岛第四关：InternLM + LlamaIndex RAG 实践
KK_427的博客
10-09 529
基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。2.RAG:是一种给模型注入新知识的一种方式，这种方式并不改变模型的权重，只是给模型引入格外的信息。然后再llamaindex_demo目录下新建一个app.py文件，方法如上，然后在该文件中输入下列代码。创建新的conda环境，命名为。
InternLM大模型基础岛第五关 ：XTuner微调个人小助手认知
KK_427的博客
10-12 643
使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，如下图所示（图中的伍鲜同志需替换成自己的昵称），记录复现过程并截图。1、XTuner微调：XTuner是一个专门为大语言模型和多模态模型设计的微调工具箱。它提供了高效的数据引擎、训练引擎和优化技术，帮助开发者在有限的计算资源下实现高效的大模型微调。XTuner支持多种热门开源数据集格式，如Alpaca、MOSS、Gunacao和OpenAI等，并提供了增量预训练和指令微调两种常用的微调模式。
基础岛 - 使用XTuner微调internLM1.8B模型的实践
纸上得来终觉浅 绝知此事要躬行
08-09 1149
XTuner是低成本大模型训练工具箱，也是internLM全链条工具链中，微调工具的一环。XTuner支持与书生·浦语（InternLM）、Llama等多款开源大模型的适配，可执行增量预训练、指令微调、工具类指令微调等任务类型。硬件要求上，开发者最低使用消费级显卡便可进行训练，实现大模型特定需求能力。
【遗传算法(GA)和模拟退火(SA)对翼型升阻比进行优化】基于神经网络和无导数算法的翼型优化（Matlab代码实现）
12-29
【遗传算法(GA)和模拟退火(SA)对翼型升阻比进行优化】基于神经网络和无导数算法的翼型优化（Matlab代码实现）内容概要：本文介绍了基于神经网络与无导数优化算法（遗传算法GA和模拟退火SA）对翼型升阻比进行优化的研究，采用Matlab代码实现。该研究结合无导数优化算法的全局搜索能力与神经网络的非线性拟合优势，构建翼型气动性能的代理模型，从而高效寻优以提升升阻比。文中涵盖了优化算法原理、神经网络建模流程、目标函数设计及Matlab仿真实现方法，适用于复杂气动外形优化场景。; 适合人群：具备一定Matlab编程基础，从事航空航天、流体力学或优化算法研究的研究生及科研人员；熟悉基本机器学习与智能优化算法的应用者。; 使用场景及目标：①掌握GA和SA在工程优化中的具体实现方式；②学习如何将神经网络与优化算法结合用于代理模型构建；③实现翼型等复杂工程问题的高效气动优化设计。; 阅读建议：建议读者结合提供的Matlab代码逐模块分析，重点理解神经网络训练与优化算法迭代的耦合机制，动手调试参数以加深对收敛性与优化效率关系的理解。
（12页PPT）第二单元学业质量测评.pptx
12-29
（12页PPT）第二单元学业质量测评.pptx
使用NMF进行信号分离。.zip
12-29
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
【计算机硬件接口】OpenFSI协议规范：面向可更换单元服务接口的设计与应用
12-29
内容概要：本文档是OpenPOWER基金会发布的OpenFSI（Field Replaceable Unit Support Interface）规范1.0.0版本，定义了一种适用于计算机系统中所有芯片服务访问的通用串行接口。FSI采用两线半双工点对点通信方式，支持最高166 MHz频率和最长4米传输距离，具备高可靠性、可扩展性和虚拟化支持能力，可用于芯片级服务访问和系统内测试。文档详细描述了FSI的协议机制，包括命令/响应模式、绝对与相对寻址、数据传输格式、CRC错误检测与恢复、中断轮询、流量控制以及BREAK和TERM等特殊命令，并提供了电气特性参数、时序要求及典型应用场景示例。 适合人群：从事硬件系统设计、嵌入式开发或芯片级调试的工程师，特别是涉及服务器管理、FRU维护和低层通信接口开发的技术人员。 使用场景及目标：①用于实现高性能、长距离的板级设备间串行通信；②支持多级中断与DMA信号透传，适用于高可用系统的冗余控制架构；③为CPU、ASIC等芯片提供稳定的服务接口，便于故障诊断与现场更换单元管理。 其他说明：本规范属于OpenPOWER标准轨道文档，遵循基金会知识产权政策，允许自由复制与衍生，但不得修改原始内容；建议开发者结合实际硬件平台参考本文进行FSI主从设备的设计与验证。
时序发生器设计与简单模型机实验
最新发布
12-29
下载方式：https://renmaiwang.cn/s/t0445 在时序发生器设计实验中，如何达成T4至T1的生成？ 时序发生器的构建可以通过运用一个4位循环移位寄存器来达成T4至T1的输出。 具体而言：- **CLR（清除）**: 作为全局清零信号，当CLR呈现低电平状态时，所有输出（涵盖T1至T4）皆会被清除。 - **STOP**: 在T4脉冲的下降沿时刻，若STOP信号处于低电平状态，则T1至T4会被重置。 - **启动流程**: 当启动信号START处于高电平，并且STOP为高电平时，移位寄存器将在每个时钟的上升沿向左移动一位。 移位寄存器的输出端对应了T4、T3、T2、T1。 #### 2. 时序发生器如何调控T1至T4的波形形态？ 时序发生器通过以下几个信号调控T1至T4的波形形态：- **CLR**: 当CLR处于低电平状态时，所有输出均会被清零。 - **STOP**: 若STOP信号为低电平，且在T4脉冲的下降沿时刻，所有输出同样会被清零。 - **START**: 在START信号有效（通常为高电平），并且STOP为高电平时，移位寄存器启动，从而产生环形脉冲输出。 ### 微程序控制器实验#### 3. 微程序控制器实验中的四条机器指令及其对应的微程序段指定的机器指令及其关联的微程序段如下：- **NOP**: 00- **R0->B**: 04- **A+B->R0**: 05- **P<1>**: 30- **IN->R0**: 32- **R0->OUT**: 33- **HLT**: 35#### 4. 微程序段中的微操作/微命令序列针对每条微指令，其对应的微操作或微命令序列如下：- **IN->R0**: 输入（IN）单元的数据被...
（30页PPT）母亲节主题系列活动策划方案30.pptx
12-29
（30页PPT）母亲节主题系列活动策划方案30.pptx
书生大模型l0g2
07-12
- 引用[2]提到“书生大模型实战（从入门到进阶）L3-彩蛋岛-销冠大模型案例”，有量化的命令。 - 引用[1]和[4]讨论LMDeploy的部署方案。 - 引用[5]是关于创建仓库和克隆的。 用户说“l0g2”，可能是个笔误。或许是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值