一图看懂tf.nn.embedding_look函数内部运算过程

最新推荐文章于 2025-06-27 10:33:45 发布
最新推荐文章于 2025-06-27 10:33:45 发布
阅读量2.1k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Python Tensorflow 深度学习 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/luckygirl0809/article/details/79962971
本文通过示意图解析了使用TensorFlow实现长短期记忆（LSTM）语言模型的过程，重点介绍了词向量的表示方法及tf.nn.embedding_lookup函数的作用，并解释了批大小、迭代步数等关键参数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

下图是本人亲笔画的示意图，忽略我不堪入目的字，内容最重要。大笑

下图是在我看《Tensorflow实战》这本书的Tensorflow实现LSTM的语言模型这一节过程中画的，主要是结合此例，用wi表示单词，wi的向量表达方式我以自己的理解方式举得例子，比如w1为[1,0,0,...,0,0]; w2为[0,1,0,...,0,0]; w3为[0,0,1,...,0,0] 等等。

tf.nn.embedding_look(embedding, input_.input_data)函数主要含义就是input_data相当于词向量索引，在词汇表embedding中找出input_data中的单词的向量表达方式。

batch_size表示批大小；

num_steps表示迭代步数；

vocab_size表示词汇表中单词个数；

hidden_size表示LSTM隐藏层单元数；

embedding的列表示每个单词向量表达的维度，此例中设为和LSTM隐藏层单元数一致为hidden_size；


nn.Embedding()的原理
人工智能
11-16 890
首先假定inputs.shape = (batch_size , sentence_len)embeddings的weight.shape = (10,3) =>>> (v,s)去做第一次one_hot的输出，即shape = (2,4,10)即可得到embeddings(inputs)相同的结果！即shape = (2,4 , v)那么怎么得到(2,4,s)呢？max_num 为 9。
【Keras】基于tf2.0+和tf.keras的Transformer实现
qq_36643449的博客
05-20 3593
代码来自： Learning transferable visual models from natural language supervision 该代码主要由有train.py、data_loader.py、model.py、utils.py和test.py组成，每一个python文件的作用如下： train.py：初始化DataLoader（来自于data_loader.py）并调用DataLoader的load()方法构建训练集和验证集；构建Transformer（来自model.py）的模型结
Embedding原理和Tensorflow-tf.nn.embedding_lookup()
laolu1573的专栏
08-14 3万+
先看一段代码： #!/usr/bin/env/python # coding=utf-8 import tensorflow as tf import numpy as np # 定义一个未知变量input_ids用于存储索引 input_ids = tf.placeholder(dtype=tf.int32, shape=[None]) # 定义一个已知变量embedding，是一个5
【Torch】nn.Embedding算法详解
zkw54334的博客
06-27 1007
是 PyTorch 中的查表式嵌入层（lookup‐table），用于将离散的整数索引（如词 ID、实体 ID、离散特征类别等）映射到一个连续的、可训练的低维向量空间。它通过维护一个形状为的权重矩阵，实现高效的“索引 → 向量”转换。
tf.nn.embedding_lookup()笔记
JohnSon
03-08 1万+
tf.nn.embedding_lookup(params, ids, partition_strategy=’mod’, name=None, validate_indices=True, max_norm=None)首先通过一下一个简单的例子来了解一下tf.nn.embedding_lookup()的用法a = tf.constant([[1,2,3],[4,5,6],[7,8,9],[10,1
tf.nn.embedding_lookup()的用法
热门推荐
摆渡者
09-30 3万+
函数： tf.nn.embedding_lookup(                params,                ids,                partition_strategy='mod',                name=None,               validate_indices=True,               max_...
【python函数】torch.nn.Embedding函数用法图解
风巽·剑染春水的博客
09-20 1万+
相比于One-hot编码，Embedding方式更方便计算，nn.embedding就相当于一个词典嵌入表。
模型代码为class MaskNetV5(keras.Model): def __init__(self, train_config, mask_mode="emb"): super(MaskNetV5, self).__init__() self.pre_processing_layer = PreProcessingV4(train_config) emb_out_size = len(train_config['feat']['numeric_cols'])+len(train_config['feat']['id_cols'])*train_config['embedding_dim']+len(train_config['feat']['seq_cols'])*train_config['embedding_dim'] self.mask_block = MaskBlock(emb_out_size, train_config['igm_reduce_r']) self.mlp = MLP(list(map(float, train_config['mlp_units'].split(','))), last_activation=None) def call(self, x, training=True): x = self.pre_processing_layer(x,training=training) x_left, x_right = x, x x = self.mask_block(x_left, x_right) x = self.mlp(x) x = tf.nn.sigmoid(x,name='ctcvr') return x def infer(self,x): x = self.pre_processing_layer(x,training=False) x_left, x_right = x, x x = self.mask_block(x_left, x_right) x = self.mlp(x) x = tf.nn.sigmoid(x) return x 该代码报以上错误AttributeError: Layer mask_net_v5 is not connected, no input to return.
最新发布
07-04
5. **绘制模型结构图**：使用`tf.keras.utils.plot_model`函数生成模型结构图，直观检查连接。 ###示例代码假设我们有一个包含自定义层`mask_net_v5`的模型，以下是如何正确构建的示例：```...
Tensorflow 2.x入门教程
「 虚幻私塾」
03-02 1194
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 目录 前言层次结构概述创建张量计算图自动微分数据输入Numpy构建数据生成器构建数据keras.utils.Sequence搭建模型顺序建模函数式API建模自定义建模损失函数自定义损失函数度量函数函数自定义度量类自定义度量优化器回调函数Tensorboard训练模型model
推荐系统 & 神经网络常用代码实现
weixin_39586997的博客
10-21 1379
目录 一、attention模块 二、三层全连接网络 三、Swing 四、FM 五、手写Kmeans 六、word2vec 编解码层 一、attention模块 def attention(queries, keys, keys_length): ''' queries: [B, H] keys: [B, T, H] keys_length: [B] ''' queries_hidden_units = queri
跑Transformer模型（完结）
qq_55728814的博客
09-10 1400
至此，这个代码就已经看完了，懂了他的大致结构也会跑transformer的示例，下一步跑跑bert。看看大模型的结构。
Pytorch常用的函数(二)pytorch中nn.Embedding原理及使用
qq_44665283的博客
06-20 2500
pytorch中nn.Embedding原理及使用
tf.nn.embedding_lookup函数的用法
luoganttcc的博客
05-22 493
tf.nn.embedding_lookup函数的用法主要是选取一个张量里面索引对应的元素。tf.nn.embedding_lookup（params, ids）:params可以是张量也可以是数组等，id就是对应的索引 ids只有一行： p=tf.Variable(tf.random_normal([10,1]))#生成10*1的张量 b = tf.nn.embedding_lookup(p, [1, 3])#查找张量中的序号为1和3的 with tf.Session() as sess: s
pytorch nn.Embedding()原理
qq_40107571的博客
05-02 669
pytorch nn.Embedding()原理
tf.nn.embedding_lookup()函数的原理
在人生的舞台上，从不给落伍者颁发奖牌！
03-07 1460
文章目录tf.nn.embedding_lookup()函数简单来说进阶说明实际的例子嵌入的图示高维embedding_lookup例子 tf.nn.embedding_lookup()函数 这个函数有什么作用？看起来像查找表，也就是返回每个ID对应的参数(以ID为单位)？ 例如，在Skip-Gram模型中，如果我们使用tf.nn.embedding_lookup(embeddings, tra...
torch.nn.Embedding模块
春笋的博客
06-29 1119
torch.nn.Embedding模块定义作用形式实例 定义 官方原文：A simple lookup table that stores embeddings of a fixed dictionary and size. 翻译：一个保存了固定嵌入向量字典和大小的简单查找表。 简单总结：fixed embeddings dictionary 作用 官方原文：This module is often used to store word embeddings and retrieve them using
pytorch中 nn.Embedding的原理
weixin_44933001的博客
08-30 6686
nn.Embedding 实质上是矩阵运算，实现维度转换 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None) num_embeddings : 输入数据的类别数 embedding_dim : 数据的编码维度 from torch impo
Pytorch中nn.Embedding的原理及使用
qq_46219381的博客
01-26 1648
参数1:vocab的大小 参数2:d_model 参数3(padding_idx):可选参数，原张量中置为idx的词，都被映射成一个长为d_model的零向量 例1 embedding=torch.nn.Embedding(10,3) input = torch.LongTensor([[1,2,4,5],[4,3,2,9]]) embedding(input) 例2 embedding=torch.nn.Embedding(10,3) input = torch.LongTensor(
通俗讲解pytorch中nn.Embedding原理及使用
breeze21的博客
04-08 2327
通俗讲解pytorch中nn.Embedding原理及使用
tf.nn.embedding_lookup
08-23
tf.nn.embedding_lookup是一个用于选取张量中索引对应元素的函数。它的用法是tf.nn.embedding_lookup(tensor, id)，其中tensor是输入张量，id是要查找的索引。根据id在tensor中找到对应的元素并返回。 举个例子，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值