BLOOM模型结构详解

已于 2023-04-26 14:18:07 修改
阅读量1.8k 收藏 1
点赞数
分类专栏： transformer模型 文章标签： 深度学习 BLOOM transformer nlp 语言模型
于 2023-04-18 17:42:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_20986663/article/details/130227263
版权
本文详细介绍了BLOOM语言模型的结构，包括ALiBi Positional Embeddings和Embedding LayerNorm两个优化点，对比了与GPT模型的区别，并分析了在FT框架中的推理实现。BLOOM在Megatron的GPT-2代码基础上修改，采用不同于传统Transformer的位置嵌入和额外的归一化层，提供更稳定和高效的训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》

论文地址: https://arxiv.org/pdf/2211.05100.pdf

代码地址: transformers库-modeling_bloom.py

BigScience 官方提供的代码链接并没有找到完整的模型实现代码，只有提示说模型结构代码是在 Megatron 的 GPT-2 代码基础上修改的。

BLOOM模型结构

bloom_architecture

BLOOM 的完整架构图

BLOOM 模型也是 Decoder-only 架构，但和原始 transformer-decoder 结构有所区别，上图红色框框出来的是

了解本专栏 订阅专栏 解锁全文 超级会员免费看
全面解析开源大语言模型：BLOOM
一览无遗
01-25 5926
BigScience 大型开放科学开放获取多语言模型（简称 BLOOM）代表了语言模型技术民主化的重大进步。BLOOM由来自39个国家的1200多名参与者共同开发，是全球努力的产物。该项目由 BigScience 与 Hugging Face 和法国 NLP 社区合作协调，超越了地理和机构的界限。它是一个开源的、仅解码器的转换器模型，具有 176B 参数，在 ROOTS 语料库上训练，该语料库是 59 种语言的数百个来源的数据集：46 种口语和 13 种编程语言。下面是训练语言分布的饼图。
主流开源大模型介绍ChatGLM,LLaMA,Baichuan,BLOOM
06-25
**模型结构与特点** - **Embedding层梯度缩减**：为了提升训练稳定性，模型减少了embedding层的梯度，从而减小了梯度的范数。 - **Layer Normalization**：采用了基于Deep Norm的post layer norm策略。 - **激活...
Bloom Filter 结构
点滴积累，构建知识体系
09-24 274
0.0 应用背景 布隆过滤器（Bloom Filter），1970 年由 Burton Howard Bloom 在论文《Space/Time Trade-offs in Hash Coding with Allowable Errors》提出。布隆过滤器是一种基于 Hash 的高效查找结构，能够快速（常数时间内）回答“某个元素是否在一个集合内”的问题。From《区块链技术指南》判断一个元素是否...
轻松玩转开源大语言模型bloom（一）
热门推荐
轻舟已过万重山的博客
03-07 1万+
文字生成？知识问答？手把手带你体验人人都能玩的开源大语言模型。
LevelDB：Bloom源码精读——数据结构
weixin_33739523的博客
02-18 164
一、原理分析 BloomFiler(布隆过滤器)是由Howard Bloom在1970年提出的二进制向量数据结构，怎么来理解“二进制向量数据结构”？ 我们将其分解成“二进制”、“向量”和“数据结构”来分别理解。 1、二进制：用0和1来表示的数。 2、向量：是指位向量或者比特向量，即向量的坐标系的X轴是位列(连续的内存地址)，Y轴是0和1两个值。 3、数据...
【自然语言处理】【大模型】BLOOM：一个176B参数且可开放获取的多语言模型
bqw的博客
02-06 6392
​ 预训练语言模型已经成为了现代自然语言处理pipeline中的基石，因为其在少量的标注数据上产生更好的结果。随着ELMo、ULMFiT、GPT和BERT的开发，使用预训练模型在下游任务上微调的范式被广泛使用。随后发现预训练语言模型在没有任何额外训练的情况下任务能执行有用的任务，进一步证明了其实用性。此外，根据经验观察，语言模型的性能随着模型的增大而增加(有时是可预测的，有时是突然的)，这也导致了模型规模越来越多的趋势。抛开环境的问题，训练大语言模型(LLM)的代价仅有资源丰富的组织可以负担的起。
面试必会：海量数据处理方法总结与Bloomfilter应用详解
- Bloom Filter是一种空间效率极高的数据结构，用于判断一个元素是否在一个集合中，它通过多个哈希函数将元素映射到位数组。优点是空间节省，但不保证结果的绝对正确性，可能存在误报。错误率可通过选择合适的哈希...
数据结构详解：堆栈、队列、链表、树、图及B树与Bloom过滤器
本资源提供了对多种基本数据结构的深入理解，包括堆栈、队列、链接列表（包括单向和双向的）、集合、树、图、哈希表以及特殊的数据结构如二进制搜索树、Bloom过滤器和B树。 堆栈是一种后进先出（LIFO）的数据结构，...
海量数据处理常用方法与Bloom Filter详解
Bloom Filter是一种空间效率极高的概率型数据结构，用于判断一个元素是否在一个集合中。它通过使用多个哈希函数将元素映射到一个位数组中，通过检查所有哈希函数对应位置是否都为1来判断元素是否存在。由于可能存在...
BigScience bloom模型
绀目澄清
02-26 6959
BLOOM 的英文全名代表着大科学、大型、开放科学、开源的多语言语言模型。BLOOM 是去年由 1000 多名志愿研究人员,学者 在一个名为“大科学 BigScience”的项目中创建的.BLOOM 和今天其他可用大型语言模型存在的一个主要区别：该模型可以理解多达 46 种人类语言，包括法语、越南语、普通话、印度尼西亚语、加泰罗尼亚语、13 种印度语言（如印地语）和 20 种非洲语言。超过 30% 的训练数据是英文的。该模型还可以理解 13 种编程语言。
【大语言模型-4】BLOOM模型
最新发布
m0_69378371的博客
02-28 947
BLOOM（BigScience Large Open-science Open-access Multilingual）是一个开源的多语言大规模语言模型，旨在推动自然语言处理领域的开放科学和合作。通过支持 46 种语言，BLOOM 在文本生成、翻译、问答等多种 NLP 任务中表现出色。作为一个完全开源的模型，BLOOM 提供了巨大的研究和应用潜力，同时也促进了 AI 社区的透明性、协作和公平性。
BLOOM 模型的核心原理、局限与未来发展方向解析
hello.reader
10-06 2214
BLOOM（BigScience Large Open-science Open-access Multilingual Language Model）是一款由多个国际研究团队联合开发的大型语言模型。BLOOM 模型旨在通过先进的 Transformer 架构处理复杂的自然语言生成与理解任务。它支持多语言生成，能够处理多种文本任务，如文本生成、机器翻译、文本摘要等。BLOOM 的设计使其能够在各类任务中实现高效、自然的文本生成，并展现出卓越的性能。
尝试了一个自然语言模型BLOOM
xuzhougeng blog
06-28 3793
可以和GPT-3匹配的模型
使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理
Hugging Face
01-31 1181
本文展示了如何使用 1760 亿 (176B) 参数的 BLOOM 模型[1] 生成文本时如何获得超快的词吞吐 (per token throughput)。因为在使用 bf16 (bfloat16) 权重时该模型内存占用为 352 GB (176*2)，所以最高效的硬件配置是使用 8x80GB 的 A100 GPU。也可使用 2x8x40GB 的 A100 或者 2x8x48GB 的 A6000...
Bloom
3D编程之旅
07-30 2460
Bloom 高斯模糊effect有各种各样的应用。比如，可以用于区分场景中背景objects（通过模糊处理使得objects呈现出一种失去焦点的现象）和前景objects（没有模糊处理）。另外还可以用于bloom（曝光） effect中，一种bloom effect通过增强场景中明亮的区域来模拟真实世界中的照相机。图18.6显示了在一个场景中使用曝光（上图）和不使用曝光effect的输出结果。
AI模型：开源大语言模型bloom学习
GIS摆渡人
06-13 1544
chatgpt已经成为了当下热门，github首页的trending排行榜上天天都有它的相关项目，但背后隐藏的却是openai公司提供的api收费服务。作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列，让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。bloom是一个开源的支持最多59种语言和176B参数的大语言模型。
[Python]BLOOM模型推理简介
农家小舍
07-16 891
介绍了bloom模型如何通过pytorch、deepspped（ds zero）进行推理
BigScience 开源 Bloom 的自然语言处理模型
ejinxian的专栏
07-16 2565
这是来自70多个国家和250多个机构的1000多名研究人员一年工作的成果，最终在法国巴黎南部的JeanZay超级计算机上训练了117天(3月11日至7月6日)的BLOOM模型，这要归功于法国国家科学研究中心(CNRS)和法国科学研究中心(CNRS)估计价值300万欧元的计算拨款。今天，我们发布了BLOOM，第一个在完全透明的情况下训练的多语言LLM，以改变这一现状——这是有史以来最大的人工智能研究人员合作的结果。，该模型具有1760亿个参数，一举超越市面上的所有竞争对手，成为目前规模最大的语言模型。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

嵌入式视觉

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值