大语言模型（一）OLMo

已于 2024-05-31 11:15:31 修改
阅读量699 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 人工智能 文章标签： 自然语言处理 大模型
于 2024-05-30 19:28:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/keyboardlabourer/article/details/139329628
OLMo是AI2发布的开源大语言模型框架，包括训练数据、代码及评估工具。模型基于Transformer Decoder-only架构，引入了SwiGLU激活函数和RoPE旋转位置嵌入，以提高稳定性和性能。此外，还对词汇表进行了优化，以处理个人身份信息。模型架构上，SwiGLU解决了ReLU可能导致的神经元失效问题，RoPE则实现了相对位置编码。

一、简介

OLMo 是由AI2 发布的大语言模型以及构建框架，与大多数之前的尝试只发布模型权重和推理代码不同，OLMo 开源了整个框架，包括训练数据、训练代码以及模型评估代码。

OLMo框架包括构建和研究语言模型所需的工具和资源。对于训练和建模，它包括完整的模型权重、训练代码、训练日志、消融实验、以Weights & Biases日志形式的训练指标，以及推理代码。这次发布包括我们的语言模型在7B规模上的四个变体，对应不同的架构、优化器和训练硬件，以及一个1B规模的模型，所有模型都至少训练了2T token。OLMo 作者还在HuggingFace上作为修订版发布了数百个中间检查点。对于数据集构建和分析，它包括用于这些模型的完整训练数据，包括生成训练数据的代码，来自AI2的Dolma 和用于分析预训练数据的WIMBD。对于评估，它包括AI2的Catwalk 用于下游评估和Paloma 用于基于困惑度的评估。

OLMo 也是基于Transformer Decoder-only 架构，并做了如下主要改变：

  1. 无偏置项，以提高训练稳定性。
  2. 非参数化层归一化，对比参数化层归一化和RMSNorm，OLMo 作者认为这是最安全的选择，也是最快的选择。
  3. SwiGLU激活函数，与LLaMA、PaLM和其他模型一样，使用SwiGLU 代替ReLU。
  4. 旋转位置嵌入（RoPE），与LLaMA、PaLM和其他模型一样，用RoPE 替换了绝对位置嵌入。
  5. 词汇表，OLMo 作者修改 GPT-NeoX-20B tokenizer ，添加了用于屏蔽个人身份信息（PII）的额外标记。最终的词汇表大小为50,2
了解本专栏 订阅专栏 解锁全文
大模型 OLMoE 消融实验
听雨草堂
01-13 322
OLMoE 是一个基于稀疏MoE 架构开源大语言模型。OLMoE-1B-7B 拥有7B 总参数，每次处理一个输入token 仅激活大约1B 参数，在5T token 大规模语料上进行预训练，后面进一步微调得到 OLMoE-1B-7B-INSTRUCT。OLMoE-1B-7B 在性能上超过了所有具有相似激活参数数量的大模型，甚至优于一些更大规模参数量的大模型，比如Llama2-13B-Chat 和 DeepSeekMoE-16B。MoE 架构可以在较小的计算成本下获得更优的性能表现。
【AIGC调研系列】AIGC中的OLMo模型对比其他模型的优势和劣势
zachary的博客
03-03 1485
OLMo模型在AIGC中的优势和劣势可以从以下几个方面进行分析： 优势： 开放性：OLMo被誉为“首个真正开放的大型语言模型”，提供了模型代码和权重之外，还公布了完整的训练数据、训练代码、评估基准和用于开发OLMo的工具包，降低了语言模型研究的门槛，使更多人参与进来。 无偏置项设计：OLMo的设计选择与近期开放的最先进语言模型相比较，排除了所有偏置项，这可能有助于提高模型的性能和稳定性。
完全开源的大语言模型 OLMo：加速语言模型科学研究 OLMo : Accelerating the Science of Language Models
数智笔记
04-08 1634
语言模型（LMs）已经在自然语言处理研究和商业产品中变得无处不在。随着它们在商业上的重要性不断增长，最强大的模型已经变得封闭，隐藏在专有接口后面，其训练数据、架构和开发的重要细节未披露。考虑到这些细节在科学研究这些模型时的重要性，包括它们的偏见和潜在风险，我们认为研究界有必要获得强大、真正开放的LMs。为此，本技术报告详细介绍了OLMo的首次发布，这是一款最先进的、真正开放的语言模型，以及用于构建和研究语言建模科学的框架。
开源学习：OLMO大模型简介
专注人工智能领域大模型研发
10-28 457
OLMO是AI2开发的开源语言模型，提供7B/1B等参数版本，完全公开训练数据、代码和模型权重。基于Transformer优化架构，支持2048 tokens上下文，使用3T token的多领域Dolma数据集。采用RoPE和FlashAttention技术提升性能，在推理任务表现突出（GSM8K准确率超60%）。支持指令微调和LoRA适配，Apache 2.0许可允许商用，但暂不支持多模态。配套Hugging Face集成和工具链，适用于学术研究与企业部署。
AI2 最新开源大模型 OLMo 3 系列全解析，已上架 Hugging Face，可直接下载
Ashtar_katay的博客
11-24 1141
2025年11月，Allen AI研究所开源了OLMo3系列大模型，包含7B和32B两种规模共四个版本（基础版、推理增强版、指令版和研究专用版），采用Apache2.0许可证并公开了完整的训练数据、代码和中间检查点。该系列最大亮点是上下文长度扩展至65K且保持高效注意力，训练效率提升30%，32B版本在数学推理和代码能力上接近70B级模型表现。其中Think-32B版本在长文本处理上优势明显，Instruct-7B适合日常应用。研究者可基于完全透明的训练流程进行二次开发，普通开发者也能直接使用优化后的指令版
AI加速引擎 PAI-TorchAcc：OLMo训练加速最佳实践
阿里云云栖号
03-18 1632
阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。在保证模型效果和易用性的前提下，PAI-TorchAcc相对 PyTorch 性能在 OLMo 1B 上加速比达到 1.64X，在 OLMo 7B 上加速比达到 1.52X。本文分析了 PAI-TorchAcc 的性能收益来源。
OLMo - 训练和使用AI2 模型
AI工程化、开源分享、文档翻译、代码笔记
09-28 1813
一、关于 OLMo 安装 二、模型 概览 Checkpoints 三、推理 关于微调检查点的推理 量化 四、Reproducibility 训练 检查训练数据 五、微调 六、评估
OLMo：真正完全开源的大模型
人工智能讲师分享前沿技术
06-29 764
最近，又有一家机构AI2（Allen Institute for AI）开源了一个LLM：OLMo，它的英文全称就叫Open Language Model。相比之前开源的大模型，OLMo的独特之处是完全开源，除了训练的模型，OLMo还开源了训练数据，训练代码以及模型评估代码。换句话说，只要你有GPU卡，再基于OLMo开源的数据和代码，就可以自己快速从零训练一个自己的LLM。
全新AI模型家族登场：完全可复现的开源语言模型OLMo 2
2301_79342058的博客
11-28 811
本周二，由已故微软联合创始人保罗·艾伦创立的非营利AI研究机构AI2发布了OLMo 2系列模型 (https://allenai.org/olmo)，这是其OLMo（Open Language Model，开源语言模型）系列的第二代模型。虽然“开源”语言模型市场已不乏选择（如Meta的Llama），但OLMo 2符合开放源码倡议组织（OSI）对开源AI的定义，即开发所用的工具和数据均为公开可用。值得注意的是，OLMo 2 7B的表现优于Llama 3.1的8B模型，”AI2在声明中写道。
OLMo 2 架构深度解析：开放语言模型的技术革命
fudaihb的博客
08-07 1153
AI2推出的OLMo 2开源大模型通过三大创新挑战闭源模型：70B参数规模与8K上下文窗口支持；动态稀疏注意力机制实现高效计算；完全开源模型权重、训练代码和3万亿token的Dolma数据集。架构上采用动态路由算法混合局部/全局注意力模式，结合门控MLP增强，在MMLU等基准测试中接近GPT-4水平（82.1 vs 86.4）。训练基础设施实现1.8 exaFLOPS吞吐，配合严格的数据质量控制流程，为开源社区提供透明可复现的大模型范例。
OLMo 以促进语言模型科学之名 —— OLMo Accelerating the Science of Language Models —— 全文翻译
eloudy的专栏
02-16 695
为了这个目的，这份技术报告详述了 OLMo 的第一个发行版，这包括一个达到高水准的、真正开源的语言模型，和它构建和研究语言模型科学的的整个框架流程。语言模型在自然语言处理的研究中和商业产品中已经变得无所不在。因为其商业上的重要性激增，所以，其中最强大的模型已经闭源，控制在专有接口之中，保持特别是训练数据、架构和开发的重要的细节秘而不宣。考虑到科学地研究这些模型的细节的重要性，包括他们的偏见和潜在风险，我们坚信能够把玩强大的、真正开源的语言模型，对于科学研究社区是非常重要的。未完待续 ... ...
Fizzy自定义字段扩展指南：如何灵活满足特定业务需求
最新发布
gitblog_00050的博客
12-23 964
Fizzy是由37signals开发的看板式项目管理和问题追踪应用程序。作为一款现代化的协作工具，Fizzy允许团队在多个看板中创建和管理卡片（任务/问题），通过列来组织工作流程阶段，并通过评论、提及和分配进行协作。本文将详细介绍Fizzy的自定义字段扩展功能，帮助您灵活应对各种业务场景需求。 [![Fizzy自定义字段系统](https://raw.gitcode.com/GitHub_Tre
初识OLMo，一个完全开源的大模型代码
m0_46311043的博客
02-16 1537
OLMo代码详解
OLMo2全开源LLM，含数据、代码和训练过程
python1222_的博客
11-30 1176
自从2024年2月首次发布OLMo以来，我们见证了开放语言模型生态系统的快速增长，以及开放模型与专有模型之间性能差距的缩小。OLMo-0424相对于我们在2月份的首次发布，在下游性能上有了显著提升。我们还对完全开放模型开发的参与度增加感到兴奋，特别是包括LLM360的Amber、M-A-P的Neo模型和DCLM的基线模型。9月，我们发布了OLMoE，这是一个专家混合模型，也是其完全开放的同行中第一个位于性能和大小的帕累托前沿的模型。
OLMo：开启AI研究新纪元的开放利器
XianxinMao的博客
01-25 605
OLMo作为首个完全开放的大语言模型，标志着AI研究的重大突破。通过公开预训练数据、训练代码和全流程工具，它促进了AI研究的民主化和透明度。这种前所未有的开放性不仅为学术界提供宝贵研究资源，还将推动AI领域更加科学和包容的发展，对未来技术创新具有重要意义。
Rio完整安装教程：在Windows、macOS和Linux上的10个简单步骤
gitblog_00953的博客
12-03 754
Rio是一款**硬件加速的GPU终端模拟器**，专为现代桌面和浏览器环境设计。这款**快速、高效的终端工具**利用GPU渲染技术，提供了**流畅的终端体验**和**美观的界面设计**。无论你是开发者还是系统管理员，Rio都能显著提升你的工作效率。🚀 ## 1️⃣ 准备工作：检查系统要求 在开始安装Rio之前，确保你的系统满足以下要求： - **Windows**: Windows 10或更高
Public APIs项目API元数据扩展：如何为API添加更多有用信息
gitblog_00756的博客
12-03 408
Public APIs项目是一个收集和整理公共API的协作平台，为开发者提供了丰富的API资源。在前100个字内，我们提到了Public APIs项目的核心功能——API元数据扩展，这正是本文要深入探讨的主题。通过为API添加更多有用信息，开发者能够更高效地找到合适的API，提升开发效率。📈 ## 为什么需要API元数据扩展 在开发过程中，开发者经常需要寻找合适的API来实现特定功能。传统的
大语言模型各种模型的区别
09-23
大语言模型不同模型之间的区别体现在多个方面，以下从模型变体和模型结构两方面进行阐述。 在模型变体方面，常见的基础版本（Base）、指令跟随版本（Instruct）和量化版本（Quantized）存在明显差异，主要体现在模型能力、应用场景和技术实现上 [^1]。 - 基础版本（Base Model）：它是模型的原始形态，具备通用的语言理解和生成能力，没有针对特定任务进行微调。适用于广泛的自然语言处理任务研究和开发，为进一步的定制和优化提供基础。 - 指令跟随版本（Instruct）：经过专门的微调，能够更好地理解和遵循人类的指令，在特定任务上表现更出色，如问答系统、文本摘要等。它在实际应用中更能满足用户的具体需求。 - 量化版本（Quantized）：通过量化技术减少模型参数的精度，从而降低模型的存储和计算成本。虽然在一定程度上可能会损失一些精度，但在资源受限的环境中具有优势，如移动设备或边缘计算场景。 在模型结构方面，不同开源大语言模型也存在区别。以openai的gpt2、开源鼻祖llama、国内的代表qwen2、欧洲的代表号称效果很好的模型mistral、和号称完全开源的模型olmo为例 [^2]。 - gpt2和transformer结构的区别：gpt2在transformer的基础上进行了改进和优化，具体体现在层数、注意力机制等方面。 - gpt2到llama的演变：llama在gpt2的基础上进一步发展，可能在模型架构、训练数据和方法等方面有所创新。 - llama、qwen2、mistral和olmo模型结构的区别：这些模型在整体架构、层数、注意力机制、参数规模等方面可能存在差异，导致它们在性能、应用场景和效果上有所不同。 ```python # 以下为简单示例代码，用于模拟不同模型的使用 # 假设这里有一个基础模型类 class BaseModel: def __init__(self): self.name = "Base Model" def generate_text(self, input_text): return f"Generated text by {self.name}: {input_text}" # 指令跟随模型类，继承自基础模型 class InstructModel(BaseModel): def __init__(self): super().__init__() self.name = "Instruct Model" def follow_instruction(self, instruction): return f"Following instruction by {self.name}: {instruction}" # 量化模型类，继承自基础模型 class QuantizedModel(BaseModel): def __init__(self): super().__init__() self.name = "Quantized Model" def generate_text_quantized(self, input_text): return f"Generated quantized text by {self.name}: {input_text}" # 创建不同模型的实例 base_model = BaseModel() instruct_model = InstructModel() quantized_model = QuantizedModel() # 使用不同模型 print(base_model.generate_text("Hello")) print(instruct_model.follow_instruction("Generate a summary")) print(quantized_model.generate_text_quantized("World")) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浅唱书令

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值