【Tensorflow】使用get_variable和safe_embedding_lookup_sparse进行embedding并添加L2正则时的注意事项

TensorFlow Wide And Deep 模型详解与应用 作者简介:汪剑,现在在出门问问负责推荐与个性化。曾在微软雅虎工作,从事过搜索和推荐相关工作。 责编:何永灿(heyc@youkuaiyun.com) 本文首发于优快云,未经允许不得转载。 Wide and deep 模型是 TensorFlow 在 2016 年 6 月左右发布的一类用于分类和回归的模型,并应用到了 Google Play 的应用推荐中 [1]。wide and deep ... 阅读详情

使用get_variable和safe_embedding_lookup_sparse进行embedding并添加L2正则时的注意事项

safe_embedding_lookup_sparse能够实现“Lookup embedding results, accounting for invalid IDs and empty features”,配合get_variable进行初始化embedding权值,
使用方法为:

from tensorflow.contrib.layers import safe_embedding_lookup_sparse
weight = tf.get_variable(name="linear_weight".format(name),shape=[vocabulary_size, 1],
initializer=tf.glorot_normal_initializer())

当使用这个方法进行LookUp求embedding之后,如果想要添加变量的L2正则损失,有些同学可能会这样做:

l2_loss = tf.contrib.layers.l2_regularizer(0.001)(tf.trainable_variables())

其实这样的做法时错误的。因为,这样会把所有trainable_variables的变量都添加到了l2正则损失里面,但是实际上我们需要的是“用到的那些trainable_variables”。拿embedding来说,embedding我们初始化了一个很大的权值矩阵,但是实际上我们只使用了我们LookUpTable查到的那部分权值,因此只需要把这部分权值添加进去就行了。
至于为什么上面的做法会把全部的权值都添加进l2,我们看一下tf.get_variable的trainable参数描述:

'''
trainable: If `True` also add the variable to the graph collection
        `GraphKeys.TRAINABLE_VARIABLES` (see `tf.Variable`). `trainable`
        defaults to `True` unless `synchronization` is set to `ON_READ`.
'''

那该怎么解决呢?

embedding = safe_embedding_lookup_sparse(weight, ids, combiner="mean")
tf.add_to_collection(tf.GraphKeys.WEIGHTS,embedding)

首先使用safe_embedding_lookup_sparse得到embedding向量,然后,将该向量添加进tf.GraphKeys.WEIGHTS这个collection里,然后:

l2_regular = tf.contrib.layers.l2_regularizer(0.001)
regularization_loss = tf.contrib.layers.apply_regularization(l2_regular)

即,定义一个l2_regularizer,然后调用tf.contrib.layers.apply_regularization就可以得到实际使用embedding权值的l2正则损失了。注意tf.contrib.layers.apply_regularization(regularizer, weights_list=None)函数其实有两个参数,第一个是正则化方法,第二个是想要执行正则化方法的变量列表,如果为None,则默认取tf.GraphKeys.WEIGHTS中的weight,这就是我们将需要正则化的变量加入该集合的原因,也可以加入别的集合,只要在函数中指明要正则化的变量集合名字即可。

python 成语接龙-连接数据库 from xpinyin import Pinyin import pymysql while 1: conn = pymysql.connect( host='localhost', #本地连接 user='root', #数据库账户名 password='password', #数据库密码 db='dic', 阅读详情

相关推荐

三维点云孔洞修复(附Python代码和公共点云数据集链接)

(1)物体自身缺失(2)物体自身形状复杂,很多凹凸面不够规则甚至存在空腔,空腔内部无法被三维激光扫描仪扫描到(3)物体部分区域对激光扫描不敏感,未被扫描上(4)扫描仪的扫描稳定性。

yanghl1215的博客 6956

embedding_lookup,embedding_lookup_sparse,safe_embedding_lookup_sparse的使用

embedding_lookup,embedding_lookup_sparse,safe_embedding_lookup_sparse的使用1. 总结2. embedding_lookup3. embedding_lookup_sparse4. safe_embedding_lookup_sparse 1. 总结 2. embedding_lookup embedding_lookup有两个必选参数:params和ids,即返回ids指向的embedding。 embedding_lookup是三个lo

November、Chopin 1267

利用HipSTR从二代测序数据中精准解析短串联重复序列(STR)的遗传多态性

本文详细介绍了如何利用HipSTR工具从二代测序(NGS)数据中精准解析短串联重复序列(STR)的遗传多态性。通过三步走策略,HipSTR能够高效识别STR区域、估算重复次数并判定基因型,适用于法医鉴定、疾病研究和细胞系鉴定等多个领域。文章还提供了实战操作指南和常见问题解决方案,帮助研究者充分利用NGS数据开展STR分析。

weixin_28702105的博客 484

使用Keras动手实践深度学习(下)

原文:http://www.sohu.com/a/162003640_465944 在上一篇文章“”中,我们已经了解如何在Docker上从头构建一个Keras的运行平台,搭建基础的深度学习环境。接着对我们要做的事情“IMDB影评预测”问题做了分析,对数据做了解释,并且初步使用LSTM网络,实现了一个比较好的深度学习模型。同时我们还提到虽然我们已经取得了比较好的结果,我们还要继续研究一些基

图特摩斯科技-博客 1万+

DexProtector内存态匿名段检测绕过与dex重组技术

Dex文件是Android应用的核心执行单元,其结构规范(如header_item、class_def_item、code_item)决定了运行时加载与解析的底层逻辑。DexProtector通过将dex数据拆解为多个无文件名、受保护的内存匿名段(如[anon:dp_header]、[anon:dp_code]),规避传统基于文件特征或标准加载路径的检测机制。该策略依赖Android mmap内存管理与ART虚拟机对dex结构的刚性要求,形成可被观测的布局规律。理解其内存态组织原理,结合权限/大小/命名/内

weixin_30855761的博客 694

UE5.3.2 + VS2022社区版在Win11上的C++编译环境配置全解

Unreal Engine 5的C++开发依赖严格的工具链协同,其核心在于Visual Studio编译器版本、Windows SDK与引擎构建系统(UBT)的精准匹配。UE5.3.2强制要求MSVC v143.4(即VS2022 17.4+)及Windows 11 SDK 10.0.22621.0,任何偏差都会引发LNK2019链接失败、C1083头文件缺失或MSB8066构建中断等典型错误。该配置不仅关乎安装顺序,更涉及注册表清理、PATH环境变量、SDK路径注入与运行时DLL加载等底层机制。适用于Wi

weixin_33978722的博客 369

简洁明了的tensorflow2.0教程——正则化操作

通常我们在训练神经网络模型的时候会出现过拟合的情况,模型训练的过于好,导致泛化能力不强。一般我们引入正则化可以解决过拟合问题,正则化分为两类,L1型正则化,L2型正则化。接下来我们做简单介绍并给出tensorflow代码实现。完整代码位于我的github,链接:https://github.com/JohnLeek/Tensorflow-study,day2_regularizationfree.py(未使用正则化),和day2_regularization_L2.py(使用正则化),数据集为dot.csv

JohnLeeK的博客 7388

手把手教你用YOLOv5和OpenCV实现DNF全自动刷图(含自动拾取与Boss战逻辑)

本文详细介绍了如何使用YOLOv5和OpenCV构建DNF全自动刷图系统,包括环境配置、游戏画面采集、目标检测、场景导航及操作控制等核心模块。通过实战案例,帮助开发者掌握游戏自动化技术,实现自动拾取与Boss战逻辑,提升游戏效率。

weixin_42628941的博客 452

tensorflow中的正则化函数在_Tensorflow 实现正则化(Regularization)

一 为什么要加入正则化首先引入一个概念:过拟合。模型对于已知数据的描述适应性过高,导致对新数据的泛化能力不佳,我们称模型对于数据过拟合(overfitting)。怎么判断一个模型是否出现了过拟合现象呢?最有效的方式是通过识别精度判断模型是否存在过拟合:比较模型对验证集和训练集的识别精度,如果验证集识别精度大幅低于训练集,则可以判断模型存在过拟合。对抗过拟合有好几种方法:增加训练数据;减小网络模型大...

weixin_39631767的博客 1015

ESP32 VSCode开发环境配置

ESP32 VSCode开发环境配置

qq_53529450的博客 511

AutoSar实战营 - 总目录

欢迎大家来学习《AutoSar实战营》专栏,该篇为总目录,方便以后大家直接进入需要学习的文章。 ~正所谓独乐乐不如众乐乐 - - ~1, AutoSar之DaVinci开发环境2,BswM模块之Ecu State Handling1)读写DID功能 《AutoSar实战》读写DID之一:CDD准备 《AutoSar实战》读写DID之二:工具链配置 《AutoSar实战》读写DID之三:代码实现2)功能寻址 《AutoSar实战》禁止功能寻址

weixin_48498880的博客 3636

tensorflow--embedding_lookup 和 embedding_lookup_sparse

tf.nn.embedding_lookup(tensor,id) tensor是输入张量,id是张量对应索引 作用:选取一个张良立面索引对应的元素

CICI❤️的博客 1831

Unreal 从入门到进阶 之 如何实现Pixel Streaming

Unreal Engine 5 (UE5) 的 Pixel Streaming 是一项基于云端的实时流媒体技术,允许将 UE5 应用的高质量图形渲染结果通过 WebRTC 协议传输到用户的浏览器或轻量级设备,同时将用户输入(如鼠标、键盘、触控)回传到服务器处理。UE的插件相对比较好用,但是就是环境下载总是失败。希望这篇文章对你有所帮助。

TxNet 1372

tf.nn.embedding_lookup_sparse 详解

tf.nn.embedding_lookup_sparse和tf.nn.embedding_lookup 都是用于embedding查表的函数。这2个函数跳过把特征onehoe,然后再用onehot的向量与embeedding矩阵做矩阵乘法的过程。 下面来看他们的用法: tf.nn.embedding_lookup_sparse( params, sp_ids, sp_weights, combiner=None, max_norm=None, name=None ) Args...

kangshuangzhu的博客 7051

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

关于tf中取embedding的小记录

众所周知,tf对tensor的shape的要求非常严格,但是经常在使用embedding layer之后就忘记了输出的tensor的shape是什么样子的了,每次都会再去百度一下,所以专门记录一下。 embedding_lookup embedding_lookup是直接进行查询,不会进行combiner的。例如: idx = [batch_size, 1] 得到的结果将是 [batch_size, 1, embedding_size]; idx = [batch_size, seq_len] 得到的结果

like_red的博客 493

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Tensorflow - 拿捏 tf.nn.embedding_lookup && tf.nn.embedding_lookup_sparse

一.引言 前面提到Wide & Deep中涉及到类别特征的 embedding,文中的 embedding 是由 Embedding 层得到,实际应用场景中,也可以从预训练的模型中加载已知 id 的 embedding,例如可以从矩阵分解获取 user-item 的向量,也可以通过 Word2vec 预训练的到语义的embedding 等等,embedding_lookup 相关函数可以看作是一个字典,给定对应特征的 id,从中获取 id 对应的 embedding 并做后续处理。 二...

BITDDD小栈 2288

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

tf.nn.embedding_lookup_sparse函数

tf.nn.embedding_lookup_sparse函数 tf.nn.embedding_lookup_sparse函数定义: tf.nn.embedding_lookup_sparse( params, sp_ids, sp_weights, partition_strategy='mod', name=None, combiner=None, max_norm=None ) 计算给定 id 和 w...

AcceptedLin的博客 915

embedding_lookup_sparse学习笔记

api embedding_lookup_sparse tf.nn.embedding_lookup_sparse( params, sp_ids, sp_weights, partition_strategy='mod', name=None, combiner=None, max_norm=None ) params embedding使用的lookup table. sp_ids 查找l...

FBeetle的博客 2416

tensorflow中embedding_lookup, tf.gather以及tf.nn.embedding_lookup_sparse的理解

1. tf.nn.embedding_lookup()函数签名如下:embedding_lookup( params, ids, partition_strategy='mod', name=None, validate_indices=True, max_norm=None )参数说明:params参数是一些tensor组成的列表或者单个的tenso

huhu0769的博客 1万+

Tensorflow一些常用基本概念与函数(1)

摘要:本文主要对tf的一些常用概念与方法进行描述。

lenbow的博客 15万+

tensorflow 特征工程中的combiner

combinercombiner的行为tf.contrib.layers.sparse_column_with_hash_bucket 的参数中有一个combiner. 他的含义是说,当产生稠密向量的时候,使用combiner与权重重重新计算权重,也就是相当于对权重的正则化。举个例子来说,feature A中,包含两个稀疏向量,分别是[0, 1, 0]和[0,0,1] 他们分别对应一个权重0.4和0

cjopengler的专栏 3660

学习笔记TF044:TF.Contrib组件、统计分布、Layer、性能分析器tfprof

TF.Contrib,开源社区贡献,新功能,内外部测试,根据反馈意见改进性能,改善API友好度,API稳定后,移到TensorFlow核心模块。生产代码,以最新官方教程和API指南参考。统计分布。TF.contrib.ditributions模块,Bernoulli、Beta、Binomial、Gamma、Ecponential、Normal、Poisson、Uniform等统计分布,统计研究、应用

利炳根 2134

tf API:网络构建模块tf.nn,tf.layers, tf.contrib

在使用tensorflow构建神经网络时,经常看到tf.nn,tf.layers,tf.contrib这三个模块,它们有很多函数的功能是相同的,部分可以混用,这就导致使用者很容易被迷惑,本文在此做一下笔记以理清思路。 tf.nn:用于原始神经网络(NN)操作的包装程序,属于基础操作,常见包括卷积(conv、conv_transpose、dilation2D、separable_c...

君莫笑 2681

tensorflow loss到多少_推荐工业界实战角度详解TensorFlow中Wide & Deep源码(三)...

作者:石塔西来源:https://zhuanlan.zhihu.com/p/47970601整理:深度传送门在充分理解了Feature Column之后,看Wide & Deep的代码,就很清晰了。我按照先整体,再Wide侧,再Deep侧的“从整体到局部”的顺序介绍一下Wide & Deep的代码。由于篇幅原因,请看官同学下载TensorFlow代码,与本文相互比照阅读。...

weixin_39858275的博客 220

【CTR预估】The Wide and Deep Learning Model(译文+Tensorlfow源码解析)

Author: DivinerShi本文主要讲解Google的Wide and Deep Learning 模型。本文先从原始论文开始,先一步步分析论文,把论文看懂。再去分析官方开源的Tensorflow源码,解析各个特征的具体实现方法,以及模型的具体构造方法等。先上图1.论文翻译ABSTRACTGeneralized linear models with nonlinear feature tra

快来学习鸭~~~ 1万+
上一篇: 【Leetcod】Leetcode77.组合
下一篇: 【tensorflow】tf.sparse_split用法——使用tf.sparse_split拆分sparse_tensor
voidfaceless
博客等级 码龄10年 100粉丝 114原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值