【Tensorflow】使用get_variable和safe_embedding_lookup_sparse进行embedding并添加L2正则时的注意事项

TensorFlow Wide And Deep 模型详解与应用 作者简介:汪剑,现在在出门问问负责推荐与个性化。曾在微软雅虎工作,从事过搜索和推荐相关工作。 责编:何永灿(heyc@youkuaiyun.com) 本文首发于优快云,未经允许不得转载。 Wide and deep 模型是 TensorFlow 在 2016 年 6 月左右发布的一类用于分类和回归的模型,并应用到了 Google Play 的应用推荐中 [1]。wide and deep ... 阅读详情

使用get_variable和safe_embedding_lookup_sparse进行embedding并添加L2正则时的注意事项

safe_embedding_lookup_sparse能够实现“Lookup embedding results, accounting for invalid IDs and empty features”,配合get_variable进行初始化embedding权值,
使用方法为:

from tensorflow.contrib.layers import safe_embedding_lookup_sparse
weight = tf.get_variable(name="linear_weight".format(name),shape=[vocabulary_size, 1],
initializer=tf.glorot_normal_initializer())

当使用这个方法进行LookUp求embedding之后,如果想要添加变量的L2正则损失,有些同学可能会这样做:

l2_loss = tf.contrib.layers.l2_regularizer(0.001)(tf.trainable_variables())

其实这样的做法时错误的。因为,这样会把所有trainable_variables的变量都添加到了l2正则损失里面,但是实际上我们需要的是“用到的那些trainable_variables”。拿embedding来说,embedding我们初始化了一个很大的权值矩阵,但是实际上我们只使用了我们LookUpTable查到的那部分权值,因此只需要把这部分权值添加进去就行了。
至于为什么上面的做法会把全部的权值都添加进l2,我们看一下tf.get_variable的trainable参数描述:

'''
trainable: If `True` also add the variable to the graph collection
        `GraphKeys.TRAINABLE_VARIABLES` (see `tf.Variable`). `trainable`
        defaults to `True` unless `synchronization` is set to `ON_READ`.
'''

那该怎么解决呢?

embedding = safe_embedding_lookup_sparse(weight, ids, combiner="mean")
tf.add_to_collection(tf.GraphKeys.WEIGHTS,embedding)

首先使用safe_embedding_lookup_sparse得到embedding向量,然后,将该向量添加进tf.GraphKeys.WEIGHTS这个collection里,然后:

l2_regular = tf.contrib.layers.l2_regularizer(0.001)
regularization_loss = tf.contrib.layers.apply_regularization(l2_regular)

即,定义一个l2_regularizer,然后调用tf.contrib.layers.apply_regularization就可以得到实际使用embedding权值的l2正则损失了。注意tf.contrib.layers.apply_regularization(regularizer, weights_list=None)函数其实有两个参数,第一个是正则化方法,第二个是想要执行正则化方法的变量列表,如果为None,则默认取tf.GraphKeys.WEIGHTS中的weight,这就是我们将需要正则化的变量加入该集合的原因,也可以加入别的集合,只要在函数中指明要正则化的变量集合名字即可。

Gelsight Sensor 重建 height-map —— 使用 DST-II 算子的快速泊松求解 Gelsight Sensor 重建 height-map —— 使用 DST-II 算子的快速泊松求解 gelsight gelsight传感器具有软弹性体的接触表面,可以精确的重建物体形状还可以从传感器的变形推断接触力和滑动. 使用 DST-II 算子的快速泊松求解 height 文章:GelSight: High-Resolution Robot Tactile Sensors for Estimating Geometry and Force 文章最后求解的方程其实是: p=∂2u∂x2+∂ 阅读详情

相关推荐

PADS Logic VX2.5元件绘制全流程:从零开始创建自定义元件库

本文详细介绍了在PADS Logic VX2.5中从零开始创建自定义元件库的全流程。内容包括理解PADS独特的四库分立结构、绘制原理图符号(CAE封装)、关联PCB封装、创建元件类型以及最终的调用验证。掌握元件绘制技能能从根本上提升设计效率、确保设计规范统一,并从源头杜绝原理图与PCB之间的关联错误,是硬件工程师必备的核心能力。

oo7890的博客 445

embedding_lookup,embedding_lookup_sparse,safe_embedding_lookup_sparse的使用

embedding_lookup,embedding_lookup_sparse,safe_embedding_lookup_sparse的使用1. 总结2. embedding_lookup3. embedding_lookup_sparse4. safe_embedding_lookup_sparse 1. 总结 2. embedding_lookup embedding_lookup有两个必选参数:params和ids,即返回ids指向的embedding。 embedding_lookup是三个lo

November、Chopin 1267

[数字电路]用与非门实现BCD译码器驱动数码管

Hello,大家好。这里是xdd_core,好久不见。今天来和大家聊聊大一数字电路课程的一个课设。# Key word:BCD Decoder,Proteus8.x,NAND Gate,Digital Circuit# 流程:Proteus8.x仿真电路并绘制PCB导出Gerber文件打样,最终实物验证。# 以下为我对这个课设的report(里面对整个设计做了详细介绍,并设计了完整的验证电路) 感谢观看,仅供参考,未经作者允许,禁止转载/抄袭,本文已上传至数据库,查重必挂QAQ BCD to 7-Segme

xddcore的博客 6013

使用Keras动手实践深度学习(下)

原文:http://www.sohu.com/a/162003640_465944 在上一篇文章“”中,我们已经了解如何在Docker上从头构建一个Keras的运行平台,搭建基础的深度学习环境。接着对我们要做的事情“IMDB影评预测”问题做了分析,对数据做了解释,并且初步使用LSTM网络,实现了一个比较好的深度学习模型。同时我们还提到虽然我们已经取得了比较好的结果,我们还要继续研究一些基

图特摩斯科技-博客 1万+

SD-WAN组网案例——数据中心

SD-WAN组网案例——数据中心

2301_78457663的博客 708

【HALCON工业视觉应用探索】08. C#+Halcon视觉引导机器人抓取:从入门到工业级实战(附完整代码+部署指南)

摘要:本文聚焦C#+Halcon在视觉引导机器人抓取领域的落地应用,从新手友好的“二十分钟基础引导系统”切入,逐步深入工业级场景(汽车变速箱壳体抓取)。内容涵盖核心概念(手眼标定原理、坐标转换、机器人通信协议)、完整技术流程(图像采集→目标定位→标定转换→机器人执行→结果反馈)、工业级代码实现(多目标识别、智能抓取策略、实时状态监控),以及现场部署关键技巧(硬件选型、通信配置、精度优化)。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1268

简洁明了的tensorflow2.0教程——正则化操作

通常我们在训练神经网络模型的时候会出现过拟合的情况,模型训练的过于好,导致泛化能力不强。一般我们引入正则化可以解决过拟合问题,正则化分为两类,L1型正则化,L2型正则化。接下来我们做简单介绍并给出tensorflow代码实现。完整代码位于我的github,链接:https://github.com/JohnLeek/Tensorflow-study,day2_regularizationfree.py(未使用正则化),和day2_regularization_L2.py(使用正则化),数据集为dot.csv

JohnLeeK的博客 7388

家人们,谁懂啊,dify又报错了:[models] Bad Request Error, 500 Server Error:Internal Server Error for url: http://

本来今天下班,坐在地铁上,一身劳累。一起上班的小兄弟儿,突然甩来一张截图:老大!dify又报错了。没办法,一到家就打开电脑,开始排查。

xiezhipu的博客 884

tensorflow中的正则化函数在_Tensorflow 实现正则化(Regularization)

一 为什么要加入正则化首先引入一个概念:过拟合。模型对于已知数据的描述适应性过高,导致对新数据的泛化能力不佳,我们称模型对于数据过拟合(overfitting)。怎么判断一个模型是否出现了过拟合现象呢?最有效的方式是通过识别精度判断模型是否存在过拟合:比较模型对验证集和训练集的识别精度,如果验证集识别精度大幅低于训练集,则可以判断模型存在过拟合。对抗过拟合有好几种方法:增加训练数据;减小网络模型大...

weixin_39631767的博客 1015

IP-Guard安全网关实例

企业相关情况: 1.OA系统,主要为日常工作使用,该系统IP为192.168.1.2,端口为8080; 2.文件共享服务器,用于存放日常工作资料和文档,该文件共享服务器的IP为192.168.1.1,其中\\192.168.1.1\private 目录中的存放着公司重要文档,不能随意外传; 3.安全网关已采用串联的方式联入网络,IP为192.168.2.6,所有机器访问OA系统和文件共享服务...

IP-Guard专栏 708

基于Simulink的永磁同步电机容错控制(缺相容错)

本文基于Simulink平台,详细介绍了永磁同步电机(PMSM)缺相容错控制的仿真实现方法。针对逆变器开路故障导致的缺相问题,提出"检测-重构-补偿"三阶段控制策略:采用电流阈值法快速检测故障(<5ms),重构αβ坐标系实现两相矢量控制,并通过谐波电流注入抑制转矩脉动(<8%)。仿真结果表明,该方法能有效维持故障后电机运行,转速波动<3%,满足电动汽车等关键应用的可靠性需求。文章包含完整的Simulink建模步骤、MATLAB函数代码及参数设置,为工程实践提供了可复现的

xiaoheshang_123的博客 147

tensorflow--embedding_lookup 和 embedding_lookup_sparse

tf.nn.embedding_lookup(tensor,id) tensor是输入张量,id是张量对应索引 作用:选取一个张良立面索引对应的元素

CICI❤️的博客 1831

Sigrity System Explorer Transient Analysis模式进行瞬态仿真分析操作指导-单端信号

Sigrity System Explorer Transient Analysis模式可以用于瞬态仿真分析,通过搭建简易拓扑用于前仿真分析通道的时域性能,下面搭建一个简易的单端拓扑进行说明,以下图为例,准备好发送接收端的IBIS模型, (ibis_se.ibs,本例发送接收端都使用相同的IBIS模型),以及传输线的S参数模型(welement_se.sp)最上方的图形界面是传输线的模型,本例是一个上下都有参考平面的带状线,右侧的梯形是蚀刻角度,根据W1和W2以及铜厚来确定。

weixin_54787054的博客 421

tf.nn.embedding_lookup_sparse 详解

tf.nn.embedding_lookup_sparse和tf.nn.embedding_lookup 都是用于embedding查表的函数。这2个函数跳过把特征onehoe,然后再用onehot的向量与embeedding矩阵做矩阵乘法的过程。 下面来看他们的用法: tf.nn.embedding_lookup_sparse( params, sp_ids, sp_weights, combiner=None, max_norm=None, name=None ) Args...

kangshuangzhu的博客 7051

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

关于tf中取embedding的小记录

众所周知,tf对tensor的shape的要求非常严格,但是经常在使用embedding layer之后就忘记了输出的tensor的shape是什么样子的了,每次都会再去百度一下,所以专门记录一下。 embedding_lookup embedding_lookup是直接进行查询,不会进行combiner的。例如: idx = [batch_size, 1] 得到的结果将是 [batch_size, 1, embedding_size]; idx = [batch_size, seq_len] 得到的结果

like_red的博客 493

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Tensorflow - 拿捏 tf.nn.embedding_lookup && tf.nn.embedding_lookup_sparse

一.引言 前面提到Wide & Deep中涉及到类别特征的 embedding,文中的 embedding 是由 Embedding 层得到,实际应用场景中,也可以从预训练的模型中加载已知 id 的 embedding,例如可以从矩阵分解获取 user-item 的向量,也可以通过 Word2vec 预训练的到语义的embedding 等等,embedding_lookup 相关函数可以看作是一个字典,给定对应特征的 id,从中获取 id 对应的 embedding 并做后续处理。 二...

BITDDD小栈 2288

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

tf.nn.embedding_lookup_sparse函数

tf.nn.embedding_lookup_sparse函数 tf.nn.embedding_lookup_sparse函数定义: tf.nn.embedding_lookup_sparse( params, sp_ids, sp_weights, partition_strategy='mod', name=None, combiner=None, max_norm=None ) 计算给定 id 和 w...

AcceptedLin的博客 917

embedding_lookup_sparse学习笔记

api embedding_lookup_sparse tf.nn.embedding_lookup_sparse( params, sp_ids, sp_weights, partition_strategy='mod', name=None, combiner=None, max_norm=None ) params embedding使用的lookup table. sp_ids 查找l...

FBeetle的博客 2416

tensorflow中embedding_lookup, tf.gather以及tf.nn.embedding_lookup_sparse的理解

1. tf.nn.embedding_lookup()函数签名如下:embedding_lookup( params, ids, partition_strategy='mod', name=None, validate_indices=True, max_norm=None )参数说明:params参数是一些tensor组成的列表或者单个的tenso

huhu0769的博客 1万+

Tensorflow一些常用基本概念与函数(1)

摘要:本文主要对tf的一些常用概念与方法进行描述。

lenbow的博客 15万+

tensorflow 特征工程中的combiner

combinercombiner的行为tf.contrib.layers.sparse_column_with_hash_bucket 的参数中有一个combiner. 他的含义是说,当产生稠密向量的时候,使用combiner与权重重重新计算权重,也就是相当于对权重的正则化。举个例子来说,feature A中,包含两个稀疏向量,分别是[0, 1, 0]和[0,0,1] 他们分别对应一个权重0.4和0

cjopengler的专栏 3660

学习笔记TF044:TF.Contrib组件、统计分布、Layer、性能分析器tfprof

TF.Contrib,开源社区贡献,新功能,内外部测试,根据反馈意见改进性能,改善API友好度,API稳定后,移到TensorFlow核心模块。生产代码,以最新官方教程和API指南参考。统计分布。TF.contrib.ditributions模块,Bernoulli、Beta、Binomial、Gamma、Ecponential、Normal、Poisson、Uniform等统计分布,统计研究、应用

利炳根 2134

tf API:网络构建模块tf.nn,tf.layers, tf.contrib

在使用tensorflow构建神经网络时,经常看到tf.nn,tf.layers,tf.contrib这三个模块,它们有很多函数的功能是相同的,部分可以混用,这就导致使用者很容易被迷惑,本文在此做一下笔记以理清思路。 tf.nn:用于原始神经网络(NN)操作的包装程序,属于基础操作,常见包括卷积(conv、conv_transpose、dilation2D、separable_c...

君莫笑 2681

tensorflow loss到多少_推荐工业界实战角度详解TensorFlow中Wide & Deep源码(三)...

作者:石塔西来源:https://zhuanlan.zhihu.com/p/47970601整理:深度传送门在充分理解了Feature Column之后,看Wide & Deep的代码,就很清晰了。我按照先整体,再Wide侧,再Deep侧的“从整体到局部”的顺序介绍一下Wide & Deep的代码。由于篇幅原因,请看官同学下载TensorFlow代码,与本文相互比照阅读。...

weixin_39858275的博客 220

【CTR预估】The Wide and Deep Learning Model(译文+Tensorlfow源码解析)

Author: DivinerShi本文主要讲解Google的Wide and Deep Learning 模型。本文先从原始论文开始,先一步步分析论文,把论文看懂。再去分析官方开源的Tensorflow源码,解析各个特征的具体实现方法,以及模型的具体构造方法等。先上图1.论文翻译ABSTRACTGeneralized linear models with nonlinear feature tra

快来学习鸭~~~ 1万+
上一篇: 【Leetcod】Leetcode77.组合
下一篇: 【tensorflow】tf.sparse_split用法——使用tf.sparse_split拆分sparse_tensor
voidfaceless
博客等级 码龄10年 100粉丝 114原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值