tensorflow clip_by_norm函数理解

TensorFlow中的梯度裁剪(Gradient Clipping) 梯度爆炸是深度学习中十分常见的现象,有时会导致寻优过程不收敛,或者算出来的结果干脆直接溢出,例如在Python里都是Nan,使迭代无法继续下去。TensorFlow里提供了一系列简单可行的梯度裁剪函数,方便我们对超过阈值的梯度值进行规约,使优化算法相对更加数值稳定。 TensorFlow里提供的几个Gradient Clipping函数都是以clip_by开头,分别是tf.clip_by_nor... 阅读详情

clip_by_norm

这里的clip_by_norm是指对梯度进行裁剪,通过控制梯度的最大范式,防止梯度爆炸的问题,是一种比较常用的梯度规约的方式。

tensorflow中的clip_by_norm

示例

optimizer = tf.train.AdamOptimizer(learning_rate, beta1=0.5)
grads = optimizer.compute_gradients(cost)
for i, (g, v) in enumerate(grads):
    if g is not None:
        grads[i] = (tf.clip_by_norm(g, 5), v)  # clip gradients
train_op = optimizer.apply_gradients(grads)

上面是一段比较通用的定义梯度计算公式的代码,其中用到了tf.clip_by_norm这个方法,下面是该函数的源码:

def clip_by_norm(t, clip_norm, axes=None, name=None):
  """Clips tensor values to a maximum L2-norm.

  Given a tensor `t`, and a maximum clip value `clip_norm`, this operation
  normalizes `t` so that its L2-norm is less than or equal to `clip_norm`,
  along the dimensions given in `axes`. Specifically, in the default case
  where all dimensions are used for calculation, if the L2-norm of `t` is
  already less than or equal to `clip_norm`, then `t` is not modified. If
  the L2-norm is greater than `clip_norm`, then this operation returns a
  tensor of the same type and shape as `t` with its values set to:

  `t * clip_norm / l2norm(t)`

  In this case, the L2-norm of the output tensor is `clip_norm`.

  As another example, if `t` is a matrix and `axes == [1]`, then each row
  of the output will have L2-norm equal to `clip_norm`. If `axes == [0]`
  instead, each column of the output will be clipped.

  This operation is typically used to clip gradients before applying them with
  an optimizer.

  Args:
    t: A `Tensor`.
    clip_norm: A 0-D (scalar) `Tensor` > 0. A maximum clipping value.
    axes: A 1-D (vector) `Tensor` of type int32 containing the dimensions
      to use for computing the L2-norm. If `None` (the default), uses all
      dimensions.
    name: A name for the operation (optional).

  Returns:
    A clipped `Tensor`.
  """
  with ops.name_scope(name, "clip_by_norm", [t, clip_norm]) as name:
    t = ops.convert_to_tensor(t, name="t")

    # Calculate L2-norm, clip elements by ratio of clip_norm to L2-norm
    l2norm_inv = math_ops.rsqrt(
        math_ops.reduce_sum(t * t, axes, keep_dims=True))
    tclip = array_ops.identity(t * clip_norm * math_ops.minimum(
        l2norm_inv, constant_op.constant(1.0, dtype=t.dtype) / clip_norm),
                               name=name)

  return tclip

通过注解可以清晰的明白其作用在于将传入的梯度张量t的L2范数进行了上限约束,约束值即为clip_norm,如果t的L2范数超过了clip_norm,则变换为t * clip_norm / l2norm(t),如此一来,变换后的t的L2范数便小于等于clip_norm了。

示例

下面我们通过一段代码来直观地展示该函数的作用。

生成随机数

import numpy as np
t = np.random.randint(low=0,high=5,size=10)
t
array([1, 1, 3, 4, 2, 2, 1, 4, 2, 3])

计算L2范数

l2norm4t = np.linalg.norm(t)
l2norm4t
8.0622577482985491

随机数规约

clip_norm = 5
transformed_t = t *clip_norm/l2norm4t
transformed_t
array([ 0.62017367,  0.62017367,  1.86052102,  2.48069469,  1.24034735,
        1.24034735,  0.62017367,  2.48069469,  1.24034735,  1.86052102])

验证

np.linalg.norm(transformed_t)
5.0

可以看出,该随机数序列的L2范数已经被规约为clip_norm的值。

tf.clip_by_global_norm使用解析 找了好几篇觉得都写得或者说翻译得不能让我很好地理解,所以自己找来官方文档翻译并记录了一下,以便以后自己查阅 官方文档可见这里,可能需要梯子 说明:该API在v1、v2的Tensoflow中用法一致 接下来进入正文。 作用:简单来说,就是利用梯度裁剪的方式避免梯度爆炸,“梯度爆炸”自己可查阅相关资料理解。 原型 tf.clip_by_global_norm( t_list, ... 阅读详情

相关推荐

TensorFlow端到端CTC OCR实战:从CAPTCHA破解理解序列建模本质

OCR(光学字符识别)是计算机视觉中连接图像与文本的关键技术,其核心挑战在于如何将无结构的像素序列映射为有语义的字符序列。传统两阶段方法(检测+识别)在字符粘连、形变、无边界等非标准场景下失效,而端到端序列建模通过CTC(Connectionist Temporal Classification)损失函数,直接学习图像特征到可变长文本的概率对齐关系。CTC不依赖预设字典或固定位置框,天然支持长度可变、上下文耦合、容错输出,在CAPTCHA这类强干扰、低信噪比任务中展现出鲁棒建模能力。本文以TensorFlo

图灵教育官方博客 509

tf.clip_by_norm 梯度裁剪

1. 梯度裁剪场景 先看示例: optimizer = tf.train.AdamOptimizer(self.learning_rate) gradients, v = zip(*optimizer.compute_gradients(self.pretrain_loss)) gradients, _ = tf.clip_by_global_norm(gradients, self.grad...

wn87947的博客 8008

树莓派边缘AI实战:基于CLIP与TPU加速的图像文本检索系统

边缘计算将人工智能模型的推理能力从云端下沉到本地设备,在保障数据隐私和实现低延迟响应方面具有核心价值。其技术原理在于,通过专用的神经网络加速硬件(如TPU、NPU)与轻量化的模型部署框架(如TensorFlow Lite),在资源受限的嵌入式平台上高效执行模型推理。这一技术组合解决了物联网、智能安防等场景下对实时性、安全性和离线运行的刚性需求。具体到计算机视觉领域,多模态模型CLIP通过对比学习,将图像和文本映射到统一的向量空间,从而实现零样本的图像分类与检索。本文将这一前沿模型与边缘计算硬件相结合,详细阐

weixin_30471561的博客 301

tf.clip_by_norm和tf.clip_by_global_norm区别

1.tf.clip_by_norm clip_by_norm(t, clip_norm, axes=None, name=None) t: 输入tensor,也可以是list clip_norm: 一个具体的数,如果l2norm(t) ≤ clip_norm, 则t不变化;否则t=t∗clip_norm / l2norm(t) axes:指定计算l2norm的维度,如果不指定,利用t中所有元素计算l2norm,对于一维tensor没有影响,对于二维tensor会有影响 让我们看一个具体的例子: 对

lichaobxd的博客 1432

如何在OBS中添加实时时间戳:Lua脚本配置教程(附效果展示)

本文详细介绍了如何在OBS中通过Lua脚本配置实时时间戳功能,包括环境准备、脚本获取、安装配置及高级定制。适用于直播和视频录制场景,提供精准回溯和风格自定义,支持多平台适配和性能优化,是专业制作的必备技巧。

day7的博客 1045

ComfyUI+minimaxh3本地部署:漫剧分镜批量生成工作流全实操

视频生成模型正从云端API向本地化部署迁移,背后的技术逻辑是将扩散模型的文本编码、潜空间采样、VAE解码等阶段拆分为可编排的独立环节。ComfyUI作为节点化管线工具,恰好能以可视化连线方式管理这些阶段,让生成过程可控、可复用、可批量执行。minimaxh3模型支持本地推理,配合LoRA微调与参数优化,能够在保证角色一致性的前提下,从分镜脚本批量产出连续剧情片段,规避云端排队、成本高、素材不可控等工程问题。这套工作流广泛应用于漫剧、短剧和动态条漫的工业化生产,尤其适合需要高频迭代分镜草稿的内容团队。文本以零

weixin_29057065的博客 371

梯度裁剪tf.clip_by_norm and tf.clip_by_global_norm

(一)、为什么要进行梯度裁剪? 防止训练过程中,梯度回传的时候,梯度过大,导致模型振荡,不稳定,难以训练,即传说中的防止梯度爆炸。 (二)、什么是范数? 范数(norm)是数学中的一种基本概念,最常用的就是p-范数. 假设一个向量为: 1-范数: 2-范数: 在梯度裁剪的条件判断过程中,仅仅是向量变成关于梯度的向量,或者使用所有梯度的向量而已 (三)、tensorflow实现的梯度裁剪两个...

sinat_36618660的博客 1682

Allegro如何用自带的功能将线段变成铜皮操作指导

在做PCB设计的时候,有时根据设计需要将线段变成铜皮,可以借助辅助工具来实现这一操作,但是Allegro自身也自带这个功能,如下图。勾选Delete original objects。如何用自带的功能将线段变成铜皮操作指导。勾选Convert to shape,需要把这段走线变成铜皮。

weixin_54787054的博客 2947

Clip_by_norm 函数理解

1. 梯度裁剪场景 先看示例: optimizer = tf.train.AdamOptimizer(self.learning_rate) gradients, v = zip(*optimizer.compute_gradients(self.pretrain_loss)) gradients, _ = tf.clip_by_global_norm(gradients, self.grad...

hellocsz的博客 1270

YOLO26改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

1️⃣ 什么!不知道如何改进模型⁉️ 本专栏已更新260多种不同的改进方法,所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程,所有改进100%可直接运行,性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会,顶刊提出的先进算法,将其融入到中,并进行二次创新,新颖度高,创新度高,能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊,从入门到论文的各种答疑内容,非常适合新手

Limiiiing的博客 6438

Python 爬虫实战:爬取电商平台商品信息(价格 / 销量 / 评价)

摘要:本文详细介绍基于Python的电商商品信息爬取技术方案,以京东商品详情页为例,对比分析静态(BeautifulSoup)和动态(Selenium)两种爬取方式的实现逻辑。静态爬取适合获取基础信息,而动态爬取可解决JS渲染数据的获取问题。文章包含完整的代码实现、反爬规避策略及数据存储方案,涵盖商品名称、价格、销量、评价等核心数据提取。同时强调爬虫的合规使用,提供扩展方向建议,为电商数据采集提供实用技术参考。

2503_91057718的博客 2026

Tensorflow: tensorflow中axis参数的说明

t = tf.constant([[1,2,3],[4,5,6]]) >>> k = tf.reduce_mean(t, axis=0) >>> with tf.Session() as sess: print(k.eval()) [2 3 4] 可以看出axis=0时,是行方向的缩减 而在tf.clip_by_norm...

lcqin111的博客 539

VTK API 详解(134):vtkOBJWriter - 写入 OBJ 模型

是 VTK 中用于将数据写入 Wavefront OBJ 文件格式的类。OBJ 格式是广泛支持的 3D 网格模型格式,支持顶点、面和基本几何信息的保存,便于模型在多种三维软件间交换。

yumeiguo的博客 140

7-矩阵数据的扩充、复制和限制幅度

1.矩阵中数据的扩充(tf.pad) 2.矩阵中数据的复制(tf.tile) 3.矩阵中数据限制幅度(tf.clip_by_value) 4.等比例放缩数据(tf.clip_by_norm/clip_by_global_norm)

qq_19742617的博客 957

电子元器件-逻辑器件篇:逻辑电平、CMOS逻辑、手册解读、逻辑电平转换,应用注意事项

常用的逻辑电平TTL、CMOS、LVTTL、LVCOMS、CML、ECL、PECL、LVPECL、LVDS、RS232电平RS422电平,RS485电平等。TTL和CMOS的逻辑电平按典型电压可分为四类:5V系列、3.3V系列,2.5V系列和1.8V系列。5V TTL和5V CMOS逻辑电平是通用的逻辑电平。3.3V及以下的逻辑电平被称为低电压逻辑电平,常用的为LVTTL电平低电压的逻辑电平还有2.5V和1.8V两种。

qq_60226558的博客 866

一文读懂 SAP BTP Application Router 的 Resource Files:从 xs-app.json 到本地开发的默认设置

本文详解SAP BTP中Application Router的资源文件配置与本地开发实践。核心包括:xs-app.json定义路由规则与安全策略,package.json声明依赖与启动脚本,resources/存放静态资源,default-services.json和local-destinations.json用于本地模拟云服务。文章通过真实案例展示如何配置静态资源直出、反向代理后端服务,并强调本地开发时的注意事项与常见问题解决路径。关键配置均提供示例代码,帮助开发者快速实现业务应用的部署与联调。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 182

深度学习TF—2.TensorFlow2高阶操作

文章目录一、合并与分割1. tf.concat-合并-原有的维度上进行累加2.tf.stack-合并-创造一个新的维度3.tf.unstack-分割4.tf.split-分割二、数据统计操作1.tf.norm—张量的范数2.tf.reduce_max/min/mean/sum—张量的最大值、最小值、平均值、和3.tf.argmax/argmin—张量最大值的位置与最小值的位置4.tf.equal—张量的比较5.tf.unique—张量的独特值三、张量排序1.tf.sort-排序/tf.argsort-排序并

柳杰的博客 715

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

tf.clip_by_global_norm函数解析

#coding=utf-8 import tensorflow as tf import numpy as np def test_clip_by_global_norm(): x = [1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0] r, use_norm = tf.clip_by_global_norm(x, 10) print(r,use_norm) #--------use_norm---------- x_l2 = np.ar

github_39605284的博客 417

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

tf.clip_by_global_norm的理解

help(tf.clip_by_global_norm) Help on function clip_by_global_norm in module tensorflow.python.ops.clip_ops: clip_by_global_norm(t_list, clip_norm, use_norm=None, name=None) Clips values of mul...

ningyanggege的博客 1394

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

PPO-Clip详解:不用算KL散度,三步实现策略优化的‘安全剪刀’(TensorFlow 2.x版)

本文详细解析了PPO-Clip算法在强化学习中的应用,通过三步实现策略优化的‘安全剪刀’,避免传统方法中的策略崩溃和数据浪费问题。文章提供了TensorFlow 2.x的实战代码,帮助开发者快速掌握近端策略优化技术,提升训练效率和稳定性。

weixin_30402343的博客 398

TensorFlow学习笔记

@  tf.name_scope(name, default_name=None, values=None)  定义命名空间(或定义域),可以嵌套使用,用于管理该命名空间下的东西,并用于session graph的可视化 @ Tensorflow 中的 op: Ops are say the core of tensorflow. TensorFlow is a programming s

u012559520的博客 546

Python-clip_grad_norm_梯度裁剪

1、动机 最近在看某一链接预测代码使用到了该方法(在171行),于是开始搜索发现是【梯度裁剪】,简单的说就是使用PyTorch提供的梯度裁剪库来对模型训练过程中的梯度范围进行限制从而解决神经网络训练过拟合/梯度消失or爆炸等问题的方法。即在训练模型的过程中,有可能发生梯度爆炸的情况,这样会导致模型训练的失败。我们可以采取一个简单的策略来避免梯度的爆炸,那就是梯度截断Clip,将梯度约束在某一个区间之内,在训练的过程中,在优化器更新之前进行梯度截断操作。 梯度爆炸与梯度消失 sigmoid数学公式:..

图挖掘领域,新晋砖家 ☞ 未来可期,欢迎和静静一起学习交流吖 1788

『TensorFlow』梯度优化相关

tf.trainable_variables可以得到整个模型中所有trainable=True的Variable,也是自由处理梯度的基础 基础梯度操作方法: tf.gradients 用来计算导数。该函数的定义如下所示 def gradients(ys, xs, grad_ys=None, name...

weixin_33979363的博客 121

tensorflow 相关函数使用说明

tensorflow笔记 :常用函数说明:转自   https://blog.youkuaiyun.com/u014595019/article/details/52805444ensorflow笔记系列: (一) tensorflow笔记:流程,概念和简单代码注释 (二) tensorflow笔记:多层CNN代码分析 (三) tensorflow笔记:多层LSTM代码分析 (四) tensorflow笔记:...

tang6623658的博客 813
上一篇: 通过图像对核函数进行直观理解
下一篇: tensorflow squeeze函数理解
linuxwindowsios
博客等级 码龄14年 9粉丝 12原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值