快速掌握TensorFlow中张量运算的广播机制

这个“广播机制”解释最简单、正确、无误导 很多python支持库中(numpy和mxnet下的ndarray)均支持数据广播处理,即形状不同的张量可进行元素数学运算,包括+、-、*、/。 那么,广播机制触发条件到底是啥呢? 下面是小白的心路历程: 首先:首次在python中接触广播机制时,看不懂啊,只能网上查,啥是广播机制;然后你就会发现一个奇怪的名词叫“后缘维度(trailing dimension)”。WTF,这是啥?很多博主都说是“即从末尾开始算起的维度”,好吧,我还是看不懂,问度娘,竟然找不到“后缘”的名词解释。行,先不求甚解,看看博主给的 阅读详情

相信大家在使用numpy和tensorflow的时候都会遇到如下的错误

ValueError: operands could not be broadcast together with shapes (4,3) (4,)这是由于numpy和tensorflow中的张量在进行运算的时候形状不满足广播机制的要求,不理解广播机制的同学可能会通过各种魔改代码来让代码正常运行起来,但是却不知道为什么那样改就可以。

本文将从原理上介绍张量运算中经常用到的广播机制。

广播(broadcasting)指的是不同形状的张量之间的算数运算的执行方式。

通过两个例子直观了解广播

数组与标量值的乘法

import numpy as np
arr = np.arange(5)
arr #-> array([0, 1, 2, 3, 4])
arr * 4 #-> array([ 0,  4,  8, 12, 16])

在上面的乘法运算中,标量值4被广播到了其他所有元素上

通过减去列平均值的方式对数组每一列进行距平化处理

arr = np.random.randn(4,3)
arr #-> array([[ 1.83518156,  0.86096695,  0.18681254],
    #       [ 1.32276051,  0.97987486,  0.27828887],
    #       [ 0.65269467,  0.91924574, -0.71780692],
    #       [-0.05431312,  0.58711748, -1.21710134]])
arr.mean(axis=0) #-> array([ 0.93908091,  0.83680126, -0.36745171])

关于mean中的axis参数,可以这样理解:

在numpy中,axis = 0为行轴(竖直方向),axis = 1为列轴(水平方向),指定axis表示该操作沿axis进行,得到结果将是一个shape为除去该axis的array,对于多维张量,axis=i是指运算操作沿着第i个张量下标变化的方向进行。

在上例中,arr.mean(axis=0)表示对arr沿着轴0(竖直方向)求均值。显然,第0个下标变化的方向即为竖直方向,以第一列为例,4个元素的下标分别为[(0,0),(1,0),(2,0),(3,0)]。

而arr的shape为(4,3),除去axis=0的shape,结果为(1,3)或者(3,),这与上面的代码运行结果相符。

广播机制的原理

★

如果两个数组的后缘维度(从末尾开始算起的维度)的轴长度相符或其中一方的长度为1,则认为它们是广播兼容的。广播会在缺失维度和(或)轴长度为1的维度上进行。

”
demeaned = arr - arr.mean(axis=0)
demeaned
> array([[ 0.89610065,  0.02416569,  0.55426426],
           [ 0.3836796 ,  0.1430736 ,  0.64574058],
           [-0.28638623,  0.08244448, -0.35035521],
           [-0.99339402, -0.24968378, -0.84964963]])
demeaned.mean(axis=0)
> array([ -5.55111512e-17,  -5.55111512e-17,   0.00000000e+00])

在上面的对arr每一列减去列平均值的例子中,arr的后缘维度为3,arr.mean(0)后缘维度也是3,满足轴长度相符的条件,广播会在缺失维度进行。

这里有点奇怪的是缺失维度不是axis=1,而是axis=0,个人理解是缺失维度指的是两个arr除了轴长度匹配的维度,在上面的例子中,正好是axis=0。

arr.mean(0)沿着axis=0广播,可以看作是把arr.mean(0)沿着竖直方向复制4份,即广播的时候arr.mean(0)相当于一个shape=(4,3)的数组,数组的每一行均相同,均为arr.mean(0)

各行减去行均值

row_means = arr.mean(axis=1)
row_means.shape
> (4,)
arr - row_means
> ---------------------------------------------------------------------------

    ValueError                                Traceback (most recent call last)

    <ipython-input-10-3d1314c7e700> in <module>()
    ----> 1 arr - row_means
    

    ValueError: operands could not be broadcast together with shapes (4,3) (4,)

直接相减,报错,无法进行广播。

回顾上面的原则,要么满足后缘维度轴长度相等,要么满足其中一方长度为1。在这个例子中,两者均不满足,所以报错。根据广播原则,较小数组的广播维必须为1。解决方案是为较小的数组添加一个长度为1的新轴。


numpy提供了一种通过索引机制插入轴的特殊语法。通过特殊的np.newaxis属性以及“全”切片来插入新轴。

下面的例子中,我们通过插入新轴的方式实现二维数组各行减去行均值。这里将行均值沿着水平方向进行广播,广播轴为axis=1,对row_means添加一个新轴axis=1

row_means[:,np.newaxis].shape
> (4, 1)
arr - row_means[:,np.newaxis]
> array([[ 0.87419454, -0.10002007, -0.77417447],
           [ 0.46245243,  0.11956678, -0.58201921],
           [ 0.36798351,  0.63453458, -1.00251808],
           [ 0.17378588,  0.81521647, -0.98900235]])

另一个例子

a = np.array([1,2,3])
a.shape # -> (3,)
b = np.array([[1,],[2,],[3]]) # -> (3,1)
b - a # -> array([[ 0, -1, -2],
                # [ 1,  0, -1],
                # [ 2,  1,  0]])

上面的例子输出为什么是一个3*3的数组? 

我们来分析一下,根据广播原则,b满足其中一方轴长度为1,那么广播会沿着长度为1的轴,及axis=1进行,对数组b沿着axis=1即水平方向进行复制,相当于b变成一个shape为(3,3)且各列均为[1,2,3]的数组。

一个维度为(3,3)的数组减去一个维度为(3,)的数组,满足后缘维度轴长度相等,数组a沿着axis=0即竖直方向进行广播,相当远a变成一个shape为(3,3)且个行均为[1,2,3]的数组。

b-a的时候,

 b被广播成为

[[1,1,1],
 [2,2,2],
 [3,3,3]]

a被广播成为

[[1,2,3],
 [1,2,3],
 [1,2,3]]

所以b-a的结果是

[[0,-1,-2],
 [1, 0,-1],
 [2, 1, 0]]

三维情况

下面的例子中,构造一个3*4*5的随机数组arr_3d,我们希望实现对arr_3d的每个元素减去其深度(axis=2)方向的均值

#构造三维数组
arr_3d = np.random.randn(3,4,5)
#求深度方向的均值,想想结果的shape是什么?原始shape是(3,4,5)
#除去axis=2后还剩(3,4)
depth_means = arr_3d.mean(axis=2)
depth_means.shape
> (3, 4)
#arr(3,4,5)和depth_means(3,4)不能直接广播,后缘维度不相符且不存在轴长度为1的轴
arr_3d_new = arr_3d - depth_means[:,:,np.newaxis] #所以我们添加广播轴
arr_3d_new.mean(axis=2) #结果应该为0,这里是接近0的浮点数,符合预期>  array([[ -5.55111512e-17,   4.44089210e-17,   4.44089210e-17,              4.44089210e-17],
           [ -8.88178420e-17,  -1.11022302e-16,  -6.66133815e-17,
              0.00000000e+00],
           [  0.00000000e+00,  -7.77156117e-17,  -2.22044605e-17,
             -2.22044605e-17]])

(完)


深度学习张量广播机制详解:从规则到PyTorch/TensorFlow实践 1. 先搞清楚张量广播到底解决了什么问题 如果你刚开始接触深度学习框架,比如 PyTorch 或 TensorFlow,写代码时大概率会遇到一个场景:你想把一个形状为 [3, 1] 的张量,和一个形状为 [1, 4] 的张量相加。按照直觉,这两个形状不同的矩阵似乎不能直接运算。但框架允许你这么写,而且结果是一个 [3, 4] 的张量。这个“魔法”背后的核心机制,就是 广播 。 广播机制解决的核心问题是: 如何让不同形状的张量进行逐元素运算,而无需用户手动复制数据来对齐形状 。它本质上是一种语法糖和性能优化, 阅读详情

相关推荐

深度学习张量广播机制详解:原理、规则与实战避坑指南

在实际深度学习、科学计算和数据处理项目中,我们经常需要处理不同形状的数组或矩阵进行数学运算。如果每次运算都要求数组形状完全一致,代码将变得冗长且低效。这时,理解张量运算和广播机制就成为提升开发效率和代码可读性的关键。张量是深度学习框架中的核心数据结构,可以简单理解为多维数组。而广播则是一种强大的机制,它允许不同形状的张量进行算术运算,系统会自动扩展较小的张量以匹配较大张量的形状,而无需显式复制数据。 本文适合正在学习 PyTorch、TensorFlow、NumPy 等框架的开发者,尤其是对 shape m

weixin_34060299的博客 424

快速了解张量运算中的广播机制

通常使用numpy的时候经常会遇到的一些这样的错误, 这是由于numpy数组在进行运算的时候形状不满足广播机制的要求,一般通过转置或reshape等方法可以解决问题,但是没有从根本上了解广播机制。 广播(broadcasting)指的是不同形状的数组之间的算数运算的执行方式。

浅梦的学习笔记 4076

PyTorch张量形状错误排查全指南:从广播机制到形状审计

张量形状(Tensor Shape)是深度学习计算的基础契约,本质是数据在维度空间中的结构化表达。其核心原理源于线性代数的广播机制与逐元素运算约束,任何维度不匹配都会触发RuntimeError。技术价值在于保障计算图正确性、避免静默语义错误,并支撑模型可复现性与部署鲁棒性。典型应用场景覆盖数据加载、CNN/U-Net跳跃连接、RNN时序对齐、损失函数输入校验等全链路环节。本文聚焦PyTorch实战中高频出现的shape mismatch与size mismatch问题,结合广播规则、张量语义标注和形状审计

weixin_34406086的博客 399

神经网络基础

文章目录1.二分类2.逻辑回归3.逻辑回归的代价函数4.梯度下降法5.导数6.更多导数例子7.计算图8.使用计算图求导数9.逻辑回归中的梯度下降10.m个样本的梯度下降11.向量化12.向量化的更多例子13.向量化的逻辑回归14.向量化logistic回归的梯度输出15.Python中的广播16.关于python_numpy向量的说明17.Jupyter/iPython Notebooks快速入门...

个人记录使用 477

PyTorch与TensorFlow底层机制对比:张量调度、图执行与跨框架调试

深度学习框架中的张量并非简单数组,而是承载计算历史与设备状态的运行时对象;PyTorch采用动态定义即运行的张量调度机制,依赖`.grad`与CUDA流显式管理梯度生命周期与内存同步,而TensorFlow 2.x则通过`@tf.function`将Python逻辑编译为延迟执行的符号计算图,其`tf.Variable`与`FuncGraph`共同构成状态化执行单元。这种底层哲学差异直接决定调试方式、性能瓶颈与部署路径——例如`RuntimeError: Expected all tensors to be

tomfish 356

详解Numpy中的广播原则/机制

广播的原则 如果两个数组的后缘维度(从末尾开始算起的维度)的轴长度相符或其中一方的长度为1,则认为它们是广播兼容的。广播会在缺失维度和(或)轴长度为1的维度上进行。 在上面的对arr每一列减去列平均值的例子中,arr的后缘维度为3,arr.mean(0)后缘维度也是3,满足轴长度相符的条件,广播会在缺失维度进行。 这里有点奇怪的是缺失维度不是axis=1,而是axis=0,个人理解是缺失维度指的是两个arr除了轴长度匹配的维度,在上面的例子中,正好是axis=0。这块欢迎指正 arr.mean(0)沿着axis=0广播,可以看作是把arr.mean(0)沿着竖直方向复制4份,即广播的

Numpy学习

numpy学习

weixin_44342705的博客 757

从URDF到Gazebo:一个完整的ROS2机械臂仿真项目实战与避坑指南

本文提供了一个完整的ROS2机械臂仿真项目实战指南,详细讲解了从URDF建模、ROS2 Control配置、MoveIt2集成到Gazebo仿真的全流程。文章重点分享了URDF惯性参数设置、Gazebo插件选择、MoveIt2配置修正等关键步骤的避坑经验,帮助开发者快速搭建可用的六轴机械臂仿真环境,实现从静态模型到物理仿真的跨越。

weixin_29279153的博客 276

numpy的broadcast广播机制、维度、轴

numpy两个数组的相加、相减以及相乘都是对应元素之间的操作。 import numpy as np x = np.array([[2, 2, 3], [1, 2, 3]]) y = np.array([[1, 1, 3], [2, 2, 4]]) print(x*y) # 与线性代数中的矩阵相乘不一样。 输出结果为: [[ 2 2 9] [ 2 4 12]] 当两个数...

qq_30122359的博客 1781

IsaacGym四足机器人sim to real全过程详细解析(walk these ways方法)

本文使用强化学习的方法运行到Aliengo机器人上完成从训练到部署的全过程。该方法使用的是GO1机器人提供了完整的sim to real代码和遥控器控制代码,所以我们只需要重新训练和部署健康就可以使用在Aliengo上。该方法使用lcm进行通讯首先程序通过UDP和机器人控制板进行通讯获取机器人状态并下达指令。然后又通过lcm进行机器人状态信息的发布和模型命令的获取。

weixin_44061195的博客 2万+

汇川PLC程序框架设计:模块化分层与标准化实践指南

在工业自动化领域,可编程逻辑控制器(PLC)是设备控制的核心大脑。其编程质量直接决定了系统的稳定性、可维护性与开发效率。遵循高内聚、低耦合的软件工程原则,通过模块化分层设计,能够将复杂的控制逻辑分解为硬件驱动、设备控制、流程管理等清晰层级,并利用功能块(FB)封装可复用的设备控制逻辑。这种结构化方法的技术价值在于大幅提升代码的可读性、可测试性与团队协作效率,有效降低后期维护与功能迭代的难度。其应用场景广泛覆盖从单机设备到复杂产线的自动化项目。本文聚焦于汇川PLC平台,深入探讨如何构建一套融合了**状态机编程

weixin_29188997的博客 402

《解码AI“乐高”:深入理解TensorFlow张量操作与广播机制》

系统讲解TensorFlow张量的核心概念、创建方法、运算规则、广播机制及实践应用,夯实深度学习数据操作基础。

跟我加入白帽大家庭,共捍亿万互联网用户安全! 1149

word2vector入门教程

摘要: 网上已经有许多对w2v的介绍了,这里只是做一个简单的概括。下面这篇文章我认为是关于W2V写的比较好的文章,读者有兴趣可以先参考一下: w2v参考文章1 另外一篇是关于Skip-Gram和CBow的介绍。 Skip-Gram&CBOW 逻辑比较清晰的综述文章: 综述文章 数学原理很清晰很短的一篇文章(也有关于负采样的简单说明) 参考文章 1.什么

SCUT_Sam 1万+

TensorFlow 张量操作

TensorFlow 张量操作指南 本文介绍了 TensorFlow 中张量的基本概念和常用操作。作为 TensorFlow 的核心数据结构,张量类似于多维数组,具有形状(shape)和数据类型(dtype)属性。文章涵盖张量的创建(常量/变量张量、随机张量等)、基本操作(形状变换、切片索引)、数学运算(逐元素计算、矩阵乘法)以及广播机制。还涉及高级操作如填充、排序和条件选择,并展示与 NumPy 的互操作性。通过简洁的代码示例,帮助用户快速掌握 TensorFlow 张量操作,适用于深度学习模型开发中的数

likuoelie的博客 1006

脑电分析:为什么大脑信号会“变同步”?——事件相关同步化与去同步化 (ERS/ERD) 全景解析

脑电分析中的事件相关同步化(ERS)和去同步化(ERD)是研究大脑动态节律的重要方法,反映特定任务下脑电频段能量的变化。ERD表示神经元活动分散(功率下降),提示脑区活跃处理信息;ERS则反映神经元同步(功率增强),常与静息状态相关。本文详解了ERS/ERD的生理机制、计算流程(包括基线校正和功率谱分析),并提供了Python实现示例,展示如何通过Welch法和STFT进行时频分析,生成ERD/ERS热力图。该技术广泛应用于运动想象脑机接口、癫痫检测等领域,为理解大脑功能状态提供了量化工具。

qq_32516809的博客 1398

【Windows Server 2019】活动目录 (Active Directory) ——理论

博文介绍了活动目录 (Active Directory) 的定义,作用以及与 DNS 的关系。同时也介绍了AD的组织结构,包括域控制器,子域,对象,属性,容器,组织单位,域间信任等术语的解释,实验拓扑图。

VMware, Windows, Linux, Cisco, Container, Kubernetes, Kali 7751

HoRain云--TensorFlow张量操作完全指南

本文介绍了TensorFlow中张量(Tensor)的核心操作,主要包括:1. 张量的多种创建方式(常量、特殊值、随机数、NumPy转换);2. 数学运算(逐元素运算、矩阵乘法、规约运算);3. 形状操作(reshape、维度增减、转置);4. 切片索引、拼接与分割;5. 广播机制;6. 其他重要操作(数据类型转换、排序、条件选择)。文章强调张量作为TensorFlow的核心数据结构,掌握这些基础操作对深度学习实践至关重要,并建议通过实际编码练习加深理解。全文内容详实,涵盖了张量操作的主要方面。

sinat_57153473的博客 1029

Chamfer Loss

ChamferLoss是一种常用于3D点云(pointcloud)处理的损失函数,特别是在点云生成和对齐任务中。它的目的是度量两个点集之间的相似度,特别是在点云重建、配准或生成等任务中,常用于优化模型使得生成的点云更接近真实的点云。

夜空中明亮的星的专栏 455

深度学习张量运算与广播机制:从原理到工程实践

张量运算是深度学习与科学计算的基础,它定义了多维数组之间的数学操作规则。其核心原理在于通过向量化计算替代低效循环,利用硬件并行能力大幅提升运算效率。广播机制作为张量运算的关键特性,允许不同形状的张量进行逐元素运算,通过自动维度扩展实现数据对齐。这一技术价值在于简化代码逻辑、提升计算性能,并为批量数据处理提供底层支持。在应用场景上,广播机制广泛应用于模型推理、批量归一化、数据预处理等深度学习工程实践。本文聚焦于PyTorch和NumPy框架下的广播规则详解,通过代码示例解析如何避免维度不匹配错误,并优化显存使

weixin_30335353的博客 346

【Dumper-7】入门指南 - 带你领略不一样的UE世界

摘要: Dumper-7是一款用于分析UE4/UE5游戏的逆向工具,可自动生成游戏内部结构的C++ SDK。支持Visual Studio、CMake和Xmake三种构建方式,通过DLL注入目标游戏后,自动识别引擎结构并输出C++ SDK文件(默认保存在C:\Dumper-7目录)。该工具适用于游戏Mod开发、安全研究和机制分析,提供完整的类层次映射、属性/函数识别功能。使用时需注意x64平台配置,生成SDK后可集成到自定义DLL项目中,通过示例代码展示如何查找游戏对象、访问世界状态和调用引擎函数。

kinghzking的专栏 440

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

深度学习张量广播机制:从核心规则到实战应用

在深度学习与科学计算中,张量运算是处理多维数据的核心基础。其背后的广播机制,通过一套简洁的形状兼容性规则,允许不同维度的张量进行高效的逐元素运算。这一原理不仅避免了显式循环带来的性能损耗,还大幅提升了代码的可读性与表达力,是向量化计算的关键技术。在工程实践中,广播被广泛应用于数据标准化、批量偏置添加、注意力分数计算等场景,是实现高效数值计算和模型优化的基石。理解广播的规则与陷阱,例如形状对齐和内存视图,是掌握PyTorch、TensorFlow等框架进行张量运算的必备技能,能帮助开发者写出更优雅、更健壮的深

B1334628598的博客 425

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

深度学习张量广播机制:从原理到实战的完整指南

张量是深度学习与科学计算中的核心数据结构,本质上是多维数组的泛化形式。其底层原理基于连续内存存储与维度元组表示,通过步幅计算实现高效元素访问。广播机制作为张量运算的关键优化技术,允许不同形状的张量进行逐元素运算,通过虚拟扩展而非实际数据复制来提升计算效率。这一技术价值在于大幅简化代码逻辑、减少内存占用并充分利用现代硬件的并行计算能力。在工程实践中,广播广泛应用于数据标准化、神经网络偏置项添加、批量距离计算等场景。本文聚焦于广播规则解析与常见错误调试,通过PyTorch和NumPy实例演示如何避免形状不匹配问

weixin_30470643的博客 413

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

TensorFlow张量操作终极指南:掌握多维数组的10个核心技巧

TensorFlow张量操作是深度学习和机器学习的基础,掌握张量操作技巧能让你在TensorFlow开发中事半功倍。TensorFlow-Course项目提供了简单易用的教程,帮助你快速掌握TensorFlow张量的核心操作。无论你是机器学习初学者还是希望提升TensorFlow技能的开发者,本文将为你详细介绍TensorFlow张量操作的关键知识点,让你轻松应对各种多维数组处理场景。 ## 什

gitblog_00746的博客 393

深度学习张量运算与广播机制:原理、应用与性能优化

在深度学习和科学计算领域,张量作为多维数组的泛化形式,是数据表示和操作的核心基础。其底层运算机制遵循特定的数学原理,通过向量化操作实现高效计算。广播技术作为张量运算的关键特性,允许不同形状的张量进行隐式维度扩展,从而执行逐元素运算,这一机制在提升代码简洁性和运行效率方面具有重要技术价值。在工程实践中,广播广泛应用于数据预处理、神经网络前向传播、批量样本处理等场景,能够显著减少显式循环和数据复制开销。理解张量形状对齐规则和内存虚拟扩展原理,对于编写高效的PyTorch和NumPy代码至关重要。本文结合深度学习

angou6476的博客 470

[tensorflow]tensorflw2.1.0张量和变量介绍

1.张量 1.1张量的概念 张量:是具有统一类型(称为dtype)、不可变的多维数组。可以分三种分类: 标量,只有一个值 矢量,一个数组 矩阵,多维数组 #标量 rank_0_tensor = tf.constant(4) print(rank_0_tensor) #矢量 rank_1_tensor = tf.constant([2.0, 3.0, 4.0]) print(rank_1_tensor) #矩阵 rank_2_tensor = tf.constant([[1, 2], ..

henku449141932的博客 443
上一篇: 一文读懂图卷积GCN
下一篇: 一文打尽人工智能、机器学习、深度学习、算法教程资源,反正我已经收藏了!...
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值