大语言模型（一）OLMo

已于 2024-05-31 11:15:31 修改
阅读量540 收藏
点赞数
分类专栏： 人工智能 文章标签： 自然语言处理 大模型
于 2024-05-30 19:28:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/keyboardlabourer/article/details/139329628
版权
OLMo是AI2发布的开源大语言模型框架，包括训练数据、代码及评估工具。模型基于Transformer Decoder-only架构，引入了SwiGLU激活函数和RoPE旋转位置嵌入，以提高稳定性和性能。此外，还对词汇表进行了优化，以处理个人身份信息。模型架构上，SwiGLU解决了ReLU可能导致的神经元失效问题，RoPE则实现了相对位置编码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、简介

OLMo 是由AI2 发布的大语言模型以及构建框架，与大多数之前的尝试只发布模型权重和推理代码不同，OLMo 开源了整个框架，包括训练数据、训练代码以及模型评估代码。

OLMo框架包括构建和研究语言模型所需的工具和资源。对于训练和建模，它包括完整的模型权重、训练代码、训练日志、消融实验、以Weights & Biases日志形式的训练指标，以及推理代码。这次发布包括我们的语言模型在7B规模上的四个变体，对应不同的架构、优化器和训练硬件，以及一个1B规模的模型，所有模型都至少训练了2T token。OLMo 作者还在HuggingFace上作为修订版发布了数百个中间检查点。对于数据集构建和分析，它包括用于这些模型的完整训练数据，包括生成训练数据的代码，来自AI2的Dolma 和用于分析预训练数据的WIMBD。对于评估，它包括AI2的Catwalk 用于下游评估和Paloma 用于基于困惑度的评估。

OLMo 也是基于Transformer Decoder-only 架构，并做了如下主要改变：

  1. 无偏置项，以提高训练稳定性。
  2. 非参数化层归一化，对比参数化层归一化和RMSNorm，OLMo 作者认为这是最安全的选择，也是最快的选择。
  3. SwiGLU激活函数，与LLaMA、PaLM和其他模型一样，使用SwiGLU 代替ReLU。
  4. 旋转
了解本专栏 订阅专栏 解锁全文
大模型 OLMoE 消融实验
听雨草堂
01-13 95
OLMoE 是一个基于稀疏MoE 架构开源大语言模型。OLMoE-1B-7B 拥有7B 总参数，每次处理一个输入token 仅激活大约1B 参数，在5T token 大规模语料上进行预训练，后面进一步微调得到 OLMoE-1B-7B-INSTRUCT。OLMoE-1B-7B 在性能上超过了所有具有相似激活参数数量的大模型，甚至优于一些更大规模参数量的大模型，比如Llama2-13B-Chat 和 DeepSeekMoE-16B。MoE 架构可以在较小的计算成本下获得更优的性能表现。
大语言模型是否能在不利用捷径的情况下进行潜在多跳推理？
步子哥的博客
11-26 155
近年来，人们对大语言模型（LLMs）是否能够在潜意识中回忆并组合单步事实以回答多步查询的问题产生了浓厚兴趣。例如，“在斯嘉丽·约翰逊出生的那一年，夏季奥运会在哪个国家举办？”这样的多跳问题，表面上需推理两个事实：斯嘉丽·约翰逊的出生年份，以及该年份内奥运会的举办国。听起来很简单，对吧？但问题在于，模型可能通过训练语料中的实体共现或高频模式“偷懒”，绕过真正的推理过程，直接猜测答案。 为了解决这一问题，本文提出了一个名为SOCRATES（SHORTCUT-FREE LATENT REASONING）的评估数
OLMo - 训练和使用AI2 模型
AI工程化、开源分享、文档翻译、代码笔记
09-28 1247
一、关于 OLMo 安装 二、模型 概览 Checkpoints 三、推理 关于微调检查点的推理 量化 四、Reproducibility 训练 检查训练数据 五、微调 六、评估
完全开源的大语言模型 OLMo：加速语言模型科学研究 OLMo : Accelerating the Science of Language Models
数智笔记
04-08 1313
语言模型（LMs）已经在自然语言处理研究和商业产品中变得无处不在。随着它们在商业上的重要性不断增长，最强大的模型已经变得封闭，隐藏在专有接口后面，其训练数据、架构和开发的重要细节未披露。考虑到这些细节在科学研究这些模型时的重要性，包括它们的偏见和潜在风险，我们认为研究界有必要获得强大、真正开放的LMs。为此，本技术报告详细介绍了OLMo的首次发布，这是一款最先进的、真正开放的语言模型，以及用于构建和研究语言建模科学的框架。
OLMo：真正完全开源的大模型
人工智能讲师分享前沿技术
06-29 560
最近，又有一家机构AI2（Allen Institute for AI）开源了一个LLM：OLMo，它的英文全称就叫Open Language Model。相比之前开源的大模型，OLMo的独特之处是完全开源，除了训练的模型，OLMo还开源了训练数据，训练代码以及模型评估代码。换句话说，只要你有GPU卡，再基于OLMo开源的数据和代码，就可以自己快速从零训练一个自己的LLM。
OLMo 以促进语言模型科学之名 —— OLMo Accelerating the Science of Language Models —— 全文翻译
eloudy的专栏
02-16 601
为了这个目的，这份技术报告详述了 OLMo 的第一个发行版，这包括一个达到高水准的、真正开源的语言模型，和它构建和研究语言模型科学的的整个框架流程。语言模型在自然语言处理的研究中和商业产品中已经变得无所不在。因为其商业上的重要性激增，所以，其中最强大的模型已经闭源，控制在专有接口之中，保持特别是训练数据、架构和开发的重要的细节秘而不宣。考虑到科学地研究这些模型的细节的重要性，包括他们的偏见和潜在风险，我们坚信能够把玩强大的、真正开源的语言模型，对于科学研究社区是非常重要的。未完待续 ... ...
初识OLMo，一个完全开源的大模型代码
m0_46311043的博客
02-16 1256
OLMo代码详解
Dolma:开源大规模语言模型预训练数据集与工具包
2401_87458718的博客
10-12 724
Dolma是由Allen人工智能研究所(AI2)开发的一个开源项目,旨在为大规模语言模型的预训练提供高质量的数据集和强大的数据处理工具。无论你是研究人员、开发者还是对NLP感兴趣的学生,Dolma都为你提供了宝贵的资源和工具,助力你在这个快速发展的领域中探索和创新。除了提供海量的预训练数据,Dolma项目还开发了一套强大的工具包,用于创建和处理大规模语言模型的训练数据。标准化:Dolma为预训练数据的收集和处理提供了一套标准化的工具和方法,有助于提高研究的可重复性和可比性。来获取完整的Dolma数据集。
大模型预训练与微调之间的关系
python12345_的博客
08-20 717
在这项研究中，通过对大语言模型（LLMs）预训练和微调阶段的深入探讨，揭示了两者之间复杂且相互依存的关系。研究结果表明，数据集在预训练和微调中的表现存在显著的二分化现象，这为我们理解大语言模型的训练动态提供了重要的见解。值得关注的是，研究发现部分数据集能够在预训练阶段成功学习到。这些数据集在模型预训练期间表现出稳定的性能提升，甚至在微调后也没有显著的性能改进。这种现象表明，预训练已经足够使模型掌握某些任务所需的能力和知识，因此微调对这些任务的影响有限。
OLMo2全开源LLM，含数据、代码和训练过程
m0_56255097的博客
11-28 843
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【AIGC调研系列】AIGC中的OLMo模型对比其他模型的优势和劣势
zachary的博客
03-03 1313
OLMo模型在AIGC中的优势和劣势可以从以下几个方面进行分析： 优势： 开放性：OLMo被誉为“首个真正开放的大型语言模型”，提供了模型代码和权重之外，还公布了完整的训练数据、训练代码、评估基准和用于开发OLMo的工具包，降低了语言模型研究的门槛，使更多人参与进来。 无偏置项设计：OLMo的设计选择与近期开放的最先进语言模型相比较，排除了所有偏置项，这可能有助于提高模型的性能和稳定性。
OLMoE: 开源的MoE语言模型(预训练&效果)
强化学习曾小健
09-13 1179
论文标题：OLMoE: Open Mixture-of-Experts Language Models论文链接：https://arxiv.org/pdf/2409.02060论文开源了OLMoE-1B-7B和OLMoE-1B-7B-INSTRUCT，包括模型、数据、代码和日志。OLMOE-1B-7B拥有7B参数，但每个输入token仅使用1B参数。论文在5T token上对其进行预训练，并进一步Adaptation以创建OLMoE-1B-7B-INSTRUCT。
AI加速引擎 PAI-TorchAcc：OLMo训练加速最佳实践
阿里云云栖号
03-18 1517
阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。在保证模型效果和易用性的前提下，PAI-TorchAcc相对 PyTorch 性能在 OLMo 1B 上加速比达到 1.64X，在 OLMo 7B 上加速比达到 1.52X。本文分析了 PAI-TorchAcc 的性能收益来源。
AllenAI 开源了关于大模型的所有细节！数据、代码、参数、训练过程，完全复现
夕小瑶科技说
02-08 1551
这些计划的发布将有助于研究目前尚不甚了解的模型方面，例如预训练数据与模型能力之间的关系、设计和超参数选择的影响，以及各种优化方法对模型训练的影响。OLMo模型的训练过程也不例外。需要注意的是，这些估算值应被视为下限，因为它们没有包括其他排放源，如硬件和数据中心基础设施的制造、运输和处置过程中的固有排放，以及使用、反弹效应或其他环境影响，如水消耗或采矿等。OLMo的发布不同于以往的努力，它不仅仅提供了模型权重和推理代码，而且包括了训练数据、训练和评估代码，甚至是训练过程中的中间模型检查点和日志。
AGI｜无GPU也能畅行无阻！Ollama大模型本地运行教程
在数字化道路无限探索
03-26 3086
本文介绍了如何在无GPU环境下，通过安装Docker、Ollama、Anaconda并创建虚拟环境，实现大模型的本地运行。安装完成后，启动API服务并进行测试，确保模型的高效稳定运行。Ollama的本地部署方案为没有GPU资源的用户提供了便捷的大模型运行方案。系统推荐使用Linux，如果是Windows请使用WSL2（2虚拟了完整的Linux内核，相当于Linux）ollama本身提供了API服务，但是流式处理有点问题，python版本的没问题，这里以一个api_demo为例对齐chatgpt的api。
ELMo解读（论文 + PyTorch源码）
Magical_Bubble的博客
04-11 1万+
ELMo出自Allen研究所在NAACL会议上发表的一篇论文《Deep contextualized word representations》，从论文名称看，应该是提出了一个新的词表征的方法。据他们自己的介绍：ELMo是一个深度带上下文的词表征模型，能同时建模（1）单词使用的复杂特征（例如，语法和语义）；（2）这些特征在上下文中会有何变化（如歧义等）。这些词向量从深度双向语言模型（biLM）的隐层状态中衍生出来，biLM是在大规模的语料上面Pretrain的。它们可以灵活轻松地加入到现有的模型中...
ELMo算法介绍
热门推荐
triplemeng的博客
09-17 5万+
这篇介绍一下ELMo算法(论文)。按道理应该加入前面的《关于句子embedding的一些工作简介》系列，但是因为一不小心让我写完结了 ：） 所以干脆另写一篇吧。不过从实验效果和重要性来讲，这篇论文也值得好好介绍一下。 Introduction 作者认为好的词表征模型应该同时兼顾两个问题：一是词语用法在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也应该随之改变。作者提出了deep c...
【数据挖掘】关联分析之Apriori
听雨草堂
05-07 1万+
1.Apriori算法 如果一个事务中有X，则该事务中则很有可能有Y，写成关联规则 {X}→{Y} 将这种找出项目之间联系的方法叫做关联分析。关联分析中最有名的问题是购物蓝问题，在超市购物时，有一个奇特的现象——顾客在买完尿布之后通常会买啤酒，即{尿布}→{啤酒}。原来，妻子嘱咐丈夫回家的时候记得给孩子买尿布，丈夫买完尿布后通常会买自己喜欢的啤酒。 考虑到规则的合理性，
OLMo OCR部署
最新发布
04-03
### OLMo OCR 部署指南 OLMo 是一种基于大语言模型 (LLM) 的光学字符识别技术，其部署涉及多个阶段，包括环境准备、模型加载、数据处理以及服务化运行。以下是关于 OLMo OCR 部署的具体说明： #### 环境配置 为了成功部署 OLMo OCR，需先搭建适合的开发与生产环境。推荐使用 Python 和 Docker 来管理依赖项和隔离环境[^1]。 ```bash # 安装必要的软件包 pip install torch torchvision transformers opencv-python-headless Pillow ``` 如果计划在 GPU 上加速推理过程，则需要安装 CUDA 工具链并验证驱动版本兼容性[^2]。 #### 模型加载 OLMo OCR 基于预训练权重文件初始化神经网络结构。下载官方发布的 checkpoint 并通过脚本载入内存中完成实例化操作。 ```python from transformers import AutoTokenizer, AutoModelForTokenClassification tokenizer = AutoTokenizer.from_pretrained("path/to/model") model = AutoModelForTokenClassification.from_pretrained("path/to/model") ``` 上述代码片段展示了如何利用 Hugging Face Transformers 库加载自定义路径下的 tokenizer 和 model 对象。 #### 数据前处理 输入图像通常经过一系列变换才能适配到算法框架下执行预测任务。这些步骤可能包含但不限于灰度转换、尺寸调整、二值化处理等标准流程。 ```python import cv2 from PIL import Image def preprocess_image(image_path): img = cv2.imread(image_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) resized = cv2.resize(gray, None, fx=0.5, fy=0.5, interpolation=cv2.INTER_LINEAR) _, binary = cv2.threshold(resized, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU) pil_img = Image.fromarray(binary).convert('RGB') return pil_img ``` 此函数实现了基本的图片预处理逻辑以便后续传递给 OCR 引擎分析。 #### 推理与后处理 当准备好待检测样本之后即可调用先前建立好的 pipeline 进行推断工作流运转；与此同时还需要设计额外机制来优化最终输出质量比如去除冗余字符或者纠正拼写错误等问题点。 ```python from transformers.pipelines import Pipeline class CustomOCRPipeline(Pipeline): def _sanitize_parameters(self, **kwargs): ... def postprocess(self, model_outputs): predictions = super().postprocess(model_outputs) cleaned_results = [] for pred in predictions: text = self._clean_text(pred['word']) confidence = round(float(pred['score']), 4) bbox = tuple(map(int, pred['box'])) record = {"text": text, "confidence": confidence, "bbox": bbox} cleaned_results.append(record) return cleaned_results @staticmethod def _clean_text(raw_string): normalized = unicodedata.normalize('NFKD', raw_string.strip()).encode('ascii', 'ignore').decode() filtered = re.sub(r'[^\w\s]', '', normalized.lower()) corrected = spellchecker.correction(filtered) return corrected or filtered ``` 这里定义了一个继承自 `Pipeline` 类的新类用于实现特定需求导向的功能扩展。 #### API 封装和服务启动 最后一步就是把整个流水线打包成 RESTful Web Service 形式对外提供接口访问权限控制等功能支持。 ```python from fastapi import FastAPI, File, UploadFile from pydantic import BaseModel from typing import List app = FastAPI() @app.post("/ocr", response_model=List[BaseModel]) async def ocr(file: UploadFile = File(...)): image = preprocess_image(await file.read()) results = custom_pipeline(image) return results ``` 以上即为完整的 OLMo OCR Deployment Guide 描述文档内容概览。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浅唱书令

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值