tf.keras.layers.Embedding实现共享embedding

最新推荐文章于 2025-02-01 18:42:18 发布

飞奔的帅帅

最新推荐文章于 2025-02-01 18:42:18 发布

阅读量2.6k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： tensorflow入门文章标签： sharedembedding 共享Embedding keras实现

本文链接：https://blog.youkuaiyun.com/ustbbsy/article/details/117930223

本文介绍了如何在keras中实现共享embedding。通过核心代码展示如何构造和使用共享embedding层，并验证了其在不同输入长度情况下的正确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

使用feature_column可以非常方便的实现shared_embedding

tf.feature_column.shared_embedding_columns(shared_column_list, iembedding_size)

但是换成keras后，没有相应的接口。

查找资料，实现了共享embedding

核心代码

from keras.layers import Input, Embedding

first_input = Input(shape = (your_shape_tuple) )
second_input = Input(shape = (your_shape_tuple) )
...

embedding_layer = Embedding(embedding_size)

first_input_encoded = embedding_layer(first_input)
second_input_encoded = embedding_layer(second_input)

资料来源https://stackoverflow.com/questions/42122168/keras-how-to-construct-a-shared-embedding-layer-for-each-input-neuron

Embedding的实现

import tensorflow as tf
tf.enable_eager_execution()


import numpy

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

飞奔的帅帅

关注关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

tf.keras.layers.Embedding详解

qq_19069557的博客

11-15

1661

tf.keras.layers.Embedding详解

tf.keras.layers.Embedding

NLP与推荐算法

04-30

765

hi各位大佬好，在初始化的时候，想要得到一定shape的Embedding，除了常见的get_variable及Variable就不能用Embedding吗？老子累了一天硬是没搞通这个破玩意，这个东西搞不定意味着代码的修改从tf1到tf2是失败的。也就是说，多GPU模式是肯定跑不了的。 For Recommendation in Deep learning QQ Group 102948747 For Visual in deep learning QQ Group629530787 I'm here .

2 条评论您还未登录，请先登录后发表或查看评论

keras实现share Embedding

ustbbsy的博客

02-23

660

来源：The Functional API Shared layers Another good use for the functional API are models that use shared layers. Shared layers are layer instances that are reused multiple times in the same model -- they learn features that correspond to multiple paths in

TensorFlow tf.keras.layers.Embedding

Claroja

07-26

9498

参考: 从Embedding层到Keras解决文本分类 api应用 How to Use Word Embedding Layers for Deep Learning with Keras 深度学习中Keras中的Embedding层的理解与使用一文搞懂word embeddding和keras中的embedding 在Keras模型中one-hot编码,Embedding层,使用预训练的词向...

Keras的Embedding函数

zhongzhh8的博客

05-08

4726

我在学习项目https://github.com/zonetrooper32/VDCNN的时候，觉得vdcnn.py里Embedding的用法有误，原代码中的写法为： embedded_chars = Embedding(input_dim=sequence_length, output_dim=embedding_dim)(inputs) #embdding层的输入是inputs Em...

Encoder-Decoer模型共享embedding矩阵，embedding矩阵的参数更新问题

上帝是个娘们的博客

03-29

1461

最近做生成式问答，尝试用bert做encoder，transformer-decoder做decoder框架来做。遇到一个问题，就是我想让decoder共享bert的embedding矩阵，但是由于设置了decoder和encoder学习速率不同，因此，我不知道embedding矩阵参数如何更新？会不会收到decoder端的影响，于是做了下面的实验。 import torch import torch.nn as nn class Encoder(nn.Module): def __init__

keras.layers.Embedding层介绍

sslfk的博客

03-28

4681

本层应用，就是把稀疏矩阵变成一个密集矩阵，也称为查表，因为他们之间是一个一一映射关系。与其对应的是one-hot编码，multi-hot编码，对于特征维度过大的应用，直接使用会造成维度灾难。 Embedding层本质也是一个映射，不过不是映射为on-hot编码，而是映射为一个指定维度的向量，该向量是一个变量，通过学习寻找到最优值；此过程类似word2vec的原理。而通常输入的特征都是字符串，所以在映射之前先转化为数字，也就是StringLookup对应的count模式所做的事情。使用方式如下：

tf.Keras (tf-1.15)使用记录2-基于tf.keras.layers创建层

普通攻击往后拉的博客

02-01

766

注意需要继承tf.keras.layers.Layer父类，以及注意传入**kwargs关键字参数。self.add_weight方法是用来初始化模型参数的。# 使用自定义层创建模型MyDenseLayer(32, activation='relu', input_shape=(222,)), # 注意这个input必须指定])call函数的输入inputs就是固定的，build函数每次实例化只调用一次。')# 确保输入是一个包含三个元素的列表else:self.n = n。

嵌入层 tf.keras.layers.Embedding() 介绍【TensorFlow2入门手册】

“365天深度学习训练营”报名进行中～

04-17

3486

函数原型 tf.keras.layers.Embedding( input_dim, output_dim, embeddings_initializer='uniform', embeddings_regularizer=None, activity_regularizer=None, embeddings_constraint=None, mask_zero=False, input_length=None, **kwargs ) 作用将正整数（索引）转换为固定大小的向量，例

快速看懂tf2.0-tf.keras.layersEmbedding()使用方法

qq_34768910的博客

03-14

1万+

tf2.0-tf.keras.layersEmbedding()使用方法 @[TOC]一、

tf.keras.layers.Embedding() 详解

qq_42018521的博客

02-02

3289

输入：二维张量：(batch_size, input_length)。输出：3D 张量：(batch_size, input_length, output_dim)。

Embedding理解及keras中Embedding参数详解，代码案例说明

wo的博客

09-11

1万+

Embedding理解嵌入层将正整数（下标）转换为具有固定大小的向量 ------官网词嵌入是一种语义空间到向量空间的映射，简单说就是把每个词语都转换为固定维数的向量，并且保证语义接近的两个词转化为向量后，这两个向量的相似度也高。举例说明embedding过程： “Could have done better” 通过索引对该句子进行编码，每个单词分配一个索引，上面的句子就会变成这样： 122 8 114 12 创建嵌入矩阵，即每一个索引需要分配多少维向量，也就是说每个词需要转化为多少维

支持多值带权重、稀疏、共享embedding权重的DSSM召回实现（tensorflow2）

大数据与人工智能

12-22

2338

点击上方“数据与智能”，“星标或置顶公众号”第一时间获取好内容作者 | xulu1352 目前在一家互联网公司从事推荐算法工作编辑 | lily0前序关于DSSM模型原理及实现，网上...

【AI学习笔记】ModuleNotFoundError: No module named ‘keras.layers.embeddings‘

X10的博客

12-02

4113

【AI学习笔记】成功解决：ModuleNotFoundError: No module named 'keras.layers.embeddings'

Keras中的Embedding函数

泛红尘的博客

08-29

935

Embedding是Keras中的一个函数，用于将离散的整数序列转换成连续向量的表示。映射的实现是通过查找嵌入矩阵来完成的，嵌入矩阵的大小为(input_dim, output_dim)，其中input_dim为输入词汇表大小，output_dim为输出的词嵌入维度。对于不同长度的输入序列，Embedding函数会将其转换为固定长度的向量表示，从而方便后续的神经网络模型处理。: Embedding函数可以将高维的离散变量映射到低维的实数向量空间中，从而降低数据的维度。如果有任何问题或疑问，欢迎留言讨论！

keras：3)Embedding层详解

最新发布

03-18

<think>嗯，用户问的是tf.keras.layers.Embedding的用法。首先，我得回想一下Embedding层的作用。Embedding层主要用于将整数索引转换为密集向量，这在处理自然语言处理任务时很常见，比如将单词转换为词向量。用户可能需要了解如何初始化这个层，参数的意义，以及如何在实际模型中使用。首先，我应该解释Embedding层的基本概念。比如输入是一个整数张量，形状通常是(batch_size, sequence_length)，输出是(batch_size, sequence_length, output_dim)。然后，参数方面，input_dim是词汇表大小，output_dim是嵌入向量的维度，input_length是输入序列的长度，特别是在处理序列数据时需要指定。接下来，示例代码是必要的。比如构建一个简单的模型，包含Embedding层，然后展示如何将整数序列转换为嵌入向量。还要注意，当处理可变长度序列时，可以使用mask_zero=True，这样后面的层可以忽略填充的0。可能用户还会想知道如何加载预训练的词向量，比如GloVe或者Word2Vec。这时候需要提到weights参数的使用，将预训练的矩阵传递进去，并说明trainable参数的作用，是否在训练中更新这些权重。另外，常见问题可能包括输入数据的处理，比如输入必须是整数类型，且不超过input_dim-1。还有输入形状的问题，是否需要指定input_length，以及如何处理变长序列。这些都需要在解释中涵盖。最后，相关的问题可能涉及Embedding层与其他层的结合使用，比如LSTM或者卷积层，如何保存和加载嵌入层，或者如何处理词汇表外的词。这些都是用户可能后续会问的问题，应该提前准备好。</think><< `tf.keras.layers.Embedding` 是 TensorFlow/Keras 中用于处理离散特征（如文本词汇）的核心层，主要用于将高维稀疏的整数输入（如单词索引）转换为低维稠密的连续向量表示。以下是其核心用法和参数解析： --- ### **主要参数** ```python tf.keras.layers.Embedding( input_dim, # 词汇表大小（最大整数索引 + 1） output_dim, # 嵌入向量的维度（如 128） embeddings_initializer='uniform', # 初始化方法 embeddings_regularizer=None, # 正则化（如 L2） embeddings_constraint=None, # 约束（如单位范数） mask_zero=False, # 是否将 0 作为填充值并自动生成掩码 input_length=None # 输入序列长度（用于全连接层） ) ``` --- ### **基本用法示例** ```python import tensorflow as tf # 示例数据：3个样本，每个样本是长度为4的整数序列 input_data = tf.constant([[1, 2, 3, 4], [5, 0, 0, 0], [6, 7, 8, 0]]) # 定义嵌入层：词汇表大小=9（索引0~8），输出维度=3，序列长度=4 embedding_layer = tf.keras.layers.Embedding( input_dim=9, output_dim=3, input_length=4, mask_zero=True ) # 输出形状：(batch_size, sequence_length, output_dim) output = embedding_layer(input_data) print(output.shape) # 输出 (3, 4, 3) ``` --- ### **关键特性解释** 1. **输入要求**： - 输入必须是整数张量，取值范围在 `[0, input_dim)` 之间。 - 典型应用场景：NLP 中将单词索引转换为词向量。 2. **`mask_zero=True`**： - 自动忽略索引为0的填充值，后续层（如LSTM）可通过`layer.supports_masking`处理掩码。 ```python # 检查掩码是否生效 print(embedding_layer.compute_mask(input_data)) ``` 3. **预训练嵌入**： - 可通过 `weights` 参数加载预训练词向量（如 GloVe）。 ```python pretrained_matrix = load_glove_vectors() # 假设返回形状为 (input_dim, output_dim) embedding_layer = tf.keras.layers.Embedding( input_dim=10000, output_dim=300, weights=[pretrained_matrix], trainable=False # 是否微调嵌入向量 ) ``` --- ### **常见问题及解决** 1. **输入越界错误**： - 确保输入数据中所有值 `< input_dim`。例如词汇表大小为1000时，输入索引必须 ≤999。 2. **动态序列长度**： - 若序列长度不固定，可省略 `input_length`： ```python embedding_layer = tf.keras.layers.Embedding(input_dim=1000, output_dim=64) ``` 3. **与RNN/LSTM结合**： ```python model = tf.keras.Sequential([ tf.keras.layers.Embedding(1000, 64), tf.keras.layers.LSTM(128), tf.keras.layers.Dense(10) ]) ``` --- ### **性能优化建议** - 当词汇量极大时（如百万级），考虑使用`tf.keras.layers.TextVectorization`预处理文本，或使用哈希技巧。