tf1.x究竟到底如何如何使用Embedding?

最新推荐文章于 2025-02-16 09:00:00 发布
原创 最新推荐文章于 2025-02-16 09:00:00 发布 · 1.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #算法 #人工智能

本文对比了OneHot编码与Embedding技术在处理离散特征时的不同之处，阐述了Embedding如何有效减少特征维度，提供了TensorFlow 1.x中使用Embedding的实际案例。

如何使用Embedding?

原理与使用方法

最近需要用到Embedding做特征嵌入，但是网上找不到embedding的具体用法，东拼西凑终于看懂了，写篇文章总结一下，顺便整理一下来龙去脉。

Embedding可以说是一种对离散特征进行编码的手段、
而说到离散特征编码，相信大部分人第一是将会想到Onehot编码，举例回顾一下Onehot编码。

1. 什么是OneHot编码

mnist数据集相信大家都已经耳熟能详，是一个用于手写数字分类的数据集，共有0-9十个数字，所以其label必然也会有10种：0-9，对应数字0-9。
那么如果使用OneHot编码，那么：

0: [1, 0, 0, 0, 0, 0, 0, 0, 0, 0]
1: [0, 1, 0, 0, 0, 0, 0, 0, 0, 0]
2: [0, 0, 1, 0, 0, 0, 0, 0, 0, 0]
3: [0, 0, 0, 1, 0, 0, 0, 0, 0, 0]
4: [0, 0, 0, 0, 1, 0, 0, 0, 0, 0]
5: [
最低0.47元/天 解锁文章
tf.keras.layers.Embedding详解
qq_19069557的博客
11-15 1720
tf.keras.layers.Embedding详解
tf.keras.layers.Embedding实现共享embedding
ustbbsy的博客
06-15 2651
使用feature_column可以非常方便的实现 tf.feature_column.shared_embedding_columns(shared_column_list, iembedding_size)
搞清楚TF中的Embedding
weixin_45337615的博客
10-11 1366
参考资料：详解TF中的Embedding操作 官网Embedding教程 文章目录1.为什么引入Embedding2. Embedding的工作原理2.1 由TF1进行Embedding过程解析后续补充...总结 1.为什么引入Embedding 在对词汇表中单词进行编码时 若使用one-hot编码，存在以下问题： 编码效率低下，假设我们的词汇表中有 10,000 个单词。为了对每个单词进行独热编码，我们将创建一个其中 99.99% 的元素都为零的向量。 若使用唯一的数字编码每个单词，则存在以下问题：
Embedding的用法
handsomeboysk的博客
11-17 1811
的每一行向量会在训练过程中通过梯度下降优化，使得这些向量捕捉到输入索引的语义或特征关系。嵌入向量的维度允许模型学习到输入索引之间的隐式语义关系。，Embedding 层会从矩阵中取出第。嵌入层的核心是一个可以学习的矩阵。Embedding 是一种将。一个随机初始化的嵌入矩阵。
详解TF中的Embedding操作！
abcdefg90876的博客
05-26 3725
embedding大家都不陌生，在我们的模型中，只要存在离散变量，那么一般都会用到embedding操作。今天这篇，我们将按以下的章节来介绍TF中的embedding操作。 什么是embedding？ tf1.x中的embedding实现，对比embedding_lookup和matmul tf1.x中与embedding类似操作，包括gather，ga...
torch.nn.embedding()大致使用方法
qq_37959202的博客
05-05 2890
碰到了这个东西，有点不太清楚，在这里记下笔记 将nn.embedding理解为学习一个词向量的表示，每一个词都会对应一个指定维度的单独的向量表示（embed_dim在GRU等模型的输入中，可以认为是input_size）。假设当前词汇表中一共有V个不同的词，则可以定义如下形式： 假设当前词汇表中有4个不同的单词，则V=4 import torch import torch.nn as nn emb...
Spring AI Embedding模型概念、源码分析和使用示例
2401_85378759的博客
06-21 2378
Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理。
深度学习-函数-tf.nn.embedding_lookup 与tf.keras.layers.Embedding
Harry的博客
05-02 3480
embedding_lookup函数用法ids只有一行如果ids是多行 关于np.random.RandomState、np.random.rand、np.random.random、np.random_sample参考https://blog.csdn.net/lanchunhui/article/details/50405670 tf.nn.embedding_lookup函数的用法主要是选取...
将TF1.x 程序移植到TF 2.x
weixin_42272768的博客
06-12 1217
TF2.x 与TF1.x有很大的差别，除了一些函数做了修改之外，最大的变化就是使用了急切执行。Session已经不再使用了。虽然可以使用 import tensorflow.compat.v1 as tf 来继续使用Session，但是这与谷歌发布TF2.x的概念是不符的。TF1.x的程序还是要改写后升级到TF 2.x。本文就是通过改写一个TF1.x的程序，简单介绍一下如何移植TF1.x代码到TF2.x 第一步当然是直接 import tensorflow as tf 第二步是去除Session相
自然语言处理—Embedding简单应用
qq_45031079的博客
05-03 4093
1. 自然语言处理—Embedding原理 https://zhuanlan.zhihu.com/p/164502624
深度学习embedding方法，降维，以及pytorch中使用embedding
weixin_41106546的博客
04-24 8856
形式上讲，Embedding就是用。
“万物皆可embedding”
Wanderist_
03-01 916
不知道大家有没有这种感受，在学习推荐系统算法模型时，少不了embedding的应用，有的推荐算法模型甚至可以说就是在做embedding的过程，可见embedding在推荐系统中的重要性。 这篇文章就专门把embedding单独提出来，梳理一下embedding在推荐系统中的应用。以下内容主要从深度学习方法和传统的协同过滤方法两个方面加深和理解在推荐系统领域对embedding的认识，感受下“e...
最近，大模型岗位爆了。。。
qq_46094651的博客
02-16 583
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，
embedding层_tensorflow中的Embedding操作详解
weixin_39835321的博客
11-30 2962
注：欢迎关注本人分享有关个性化推荐系统公众号：Tiany_RecoSystem参考链接：https://www.jianshu.com/p/677e71364c8eembedding大家都不陌生，在我们的模型中，只要存在离散变量，那么一般都会用到embedding操作。今天这篇，我们将按以下的章节来介绍TF中的embedding操作。先大致给一个词向量的形象含义解释：用词向量表示词，就是把字典中的...
关于tf中取embedding的小记录
like_red的博客
10-02 442
众所周知，tf对tensor的shape的要求非常严格，但是经常在使用embedding layer之后就忘记了输出的tensor的shape是什么样子的了，每次都会再去百度一下，所以专门记录一下。 embedding_lookup embedding_lookup是直接进行查询，不会进行combiner的。例如： idx = [batch_size, 1] 得到的结果将是 [batch_size, 1, embedding_size]； idx = [batch_size, seq_len] 得到的结果
tf.nn.embedding_lookup()的用法
shuijinghua的博客
03-01 740
举例如下：#!/usr/bin/env python # -*- coding: utf-8 -*- import numpy as np import tensorflow as tf input_data=np.array([[1,0],[0,1]]) embedding=np.array([[1,2,3],[4,5,6]]) result = tf.nn.embedding_lookup(...
TF中的Embedding操作
weixin_41845265的博客
01-31 1170
1、什么是embedding 简单的说就是将一个特征转换为一个向量。 我们经常会遇到一些离散特征，我们一般的做法是将其转换为one-hot，但对于itemid这种离散特征，转换成one-hot之后维度非常高，但里面只有一个是1，其余都为0。这种情况下，我们的通常做法就是将其转换为embedding。 embedding的过程是什么样子的呢？它其实就是一层全连接的神经网络，如下图所示： 假设一个特征...
embedding层_tf2.0实现embedding
weixin_39609953的博客
11-25 383
引自详解TF中的Embedding操作！1、什么是embedding？先来看看什么是embedding，我们可以简单的理解为，将一个特征转换为一个向量。在推荐系统当中，我们经常会遇到离散特征，如userid、itemid。对于离散特征，我们一般的做法是将其转换为one-hot，但对于itemid这种离散特征，转换成one-hot之后维度非常高，但里面只有一个是1，其余都为0。这种情况下，我们的通常...
神经网络算法 - 一文搞懂Embedding（嵌入）
weixin_53880910的博客
08-03 4728
本文将从**Embedding的本质、Embedding的原理、Embedding的应用**三个方面，带您一文搞懂Embedding（嵌入）。
tf.keras.layers.Embedding详解以及用法
最新发布
08-09
<think>我们正在详细解释tf.keras.layers.Embedding层。根据引用内容，Embedding层是Keras中的一个常用层，主要用于将正整数（索引）转换为固定大小的密集向量。这在处理文本数据时特别有用，例如将单词索引转换为词向量。 引用[2]和引用[4]提供了Embedding层的参数和基本用法。我们将详细说明参数、工作原理以及使用示例。 1. 参数说明（根据引用[2]）： - input_dim: 整数，词汇表大小，即最大整数索引+1。 - output_dim: 整数，表示密集嵌入的维度。 - embeddings_initializer: 嵌入矩阵的初始化方法（默认为'uniform'）。 - embeddings_regularizer: 应用于嵌入矩阵的正则化函数（可选）。 - embeddings_constraint: 应用于嵌入矩阵的约束函数（可选）。 - mask_zero: 布尔值，是否将输入中的0看作应该被忽略的“填充”值。这在使用可变长度输入时很有用。如果为True，则后续的层必须支持masking。 - input_length: 输入序列的长度（当该层后面接Flatten层然后接Dense层时，需要此参数）。如果不指定，那么后续层必须能处理任意长度的序列。 2. 工作原理： Embedding层实际上是一个查找表，它将整数索引映射到密集向量。当我们创建一个Embedding层时，它会初始化一个形状为(input_dim, output_dim)的矩阵。当输入一个整数索引i时，Embedding层会返回矩阵的第i行（即第i个向量）。 3. 输入和输出： - 输入：形状为(batch_size, sequence_length)的2D张量。注意：该层只能作为模型的第一层时，直接接受输入。否则，需要先通过Input层。 - 输出：形状为(batch_size, sequence_length, output_dim)的3D张量。 4. 注意事项（引用[4]）： - Embedding层通常作为模型的第一层。 - 如果需要在Embedding层之后添加其他层，可能需要使用Flatten或GlobalMaxPooling1D等层将嵌入向量转换为固定长度的向量。 5. 使用示例： 示例1：简单示例，用于文本分类模型的第一层。 ```python import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Embedding, Flatten, Dense # 假设词汇表大小为1000，每个词用32维向量表示，输入序列长度为10 model = Sequential() model.add(Embedding(input_dim=1000, output_dim=32, input_length=10)) # 输出形状: (batch_size, 10, 32) # 将每个序列的10个向量展平为单个向量（10*32=320） model.add(Flatten()) # 然后添加全连接层 model.add(Dense(1, activation='sigmoid')) model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) model.summary() ``` 示例2：使用预训练嵌入（例如GloVe） ```python import numpy as np # 假设我们有一个预训练的嵌入矩阵（例如GloVe） # 假设词汇表大小为10000，嵌入维度为100 embedding_matrix = np.random.rand(10000, 100) # 这里用随机矩阵代替 # 构建模型 model = Sequential() # 使用预训练矩阵作为初始权重，并设置不可训练（trainable=False） model.add(Embedding(input_dim=10000, output_dim=100, input_length=50, weights=[embedding_matrix], trainable=False)) model.add(Flatten()) model.add(Dense(1, activation='sigmoid')) ``` 示例3：使用mask_zero处理可变长度序列 ```python model = Sequential() # 设置mask_zero=True，这样索引0将被视为掩码（通常用于填充值） model.add(Embedding(input_dim=100, output_dim=32, mask_zero=True, input_length=None)) # 注意：输入长度可以设为None，表示接受任意长度 # 然后添加一个LSTM层，它能够处理掩码 model.add(tf.keras.layers.LSTM(64)) model.add(Dense(1, activation='sigmoid')) ``` 6. 数学表示： 嵌入层本质上是一个从索引空间到向量空间的映射函数： $$ f: i \in \{0,1,...,\text{input\_dim}-1\} \mapsto \mathbf{v}_i \in \mathbb{R}^{\text{output\_dim}} $$ 其中，$\mathbf{v}_i$ 是嵌入矩阵的第$i$行。 7. 训练过程： 嵌入层的权重（即嵌入矩阵）在训练过程中通过反向传播进行更新。因此，它可以将索引映射到有意义的向量表示（例如，在自然语言处理中，相似的词会有相似的向量）。 8. 注意事项： - 当使用`mask_zero=True`时，请注意索引0不能用于词汇，因为它被用作特殊掩码值。 - 如果输入序列长度不固定，可以设置`input_length=None`，但后续层可能需要支持可变长度（如RNN、LSTM等）。 9. 与其他层的结合： - 嵌入层后面可以直接接RNN、LSTM、GRU等循环层，或者CNN层。 - 也可以使用池化层（GlobalMaxPooling1D, GlobalAveragePooling1D）来降维。 10. 性能考虑： - 嵌入层通常需要较大的内存，因为嵌入矩阵的大小为(input_dim, output_dim)。因此，对于非常大的词汇表，可能需要考虑其他技术（如子词嵌入）或分布式训练。 11. 引用总结： 根据引用[1][2][3][4]，Embedding层是Keras中处理离散特征（如词索引）的重要工具，它可以将离散的符号映射到连续的向量空间，从而便于神经网络处理。 §§相关问题§§ 1. 在自然语言处理中，Embedding层的作用是什么？ 2. 如何将预训练的词向量（如Word2Vec）加载到Embedding层？ 3. 使用Embedding层时，如何处理变长输入序列？ 4. Embedding层与One-Hot编码相比有什么优势？ 5. 在Embedding层中，mask_zero参数的作用是什么？它如何影响后续层？</think>### TensorFlow `tf.keras.layers.Embedding` 层详解与用法示例 #### 1. **核心功能与数学原理** `Embedding` 层用于将正整数索引映射为密集向量，是处理离散特征（如文本、类别数据）的核心组件。其数学本质是： $$ \text{Embedding}(i) = W_i \quad \text{其中} \quad W \in \mathbb{R}^{\text{input\_dim} \times \text{output\_dim}} $$ 其中 $i$ 是输入索引，$W$ 是可训练的嵌入矩阵[^2][^4]。 #### 2. **参数详解** | 参数 | 类型 | 说明 | 默认值 | |------|------|------|--------| | `input_dim` | int | 词汇表大小（最大索引+1） | **必填** | | `output_dim` | int | 嵌入向量的维度 | **必填** | | `embeddings_initializer` | str/obj | 嵌入矩阵初始化方法 | `'uniform'` | | `embeddings_regularizer` | obj | 正则化函数 | `None` | | `mask_zero` | bool | 是否将索引0作为掩码 | `False` | | `input_length` | int | 输入序列长度 | `None` | **关键参数说明**： - `mask_zero=True` 时，索引0被视为填充值（不参与训练） - `input_length` 需在连接`Flatten`或`Dense`层时指定[^4] #### 3. **输入输出结构** ```python # 输入：2D张量 (batch_size, sequence_length) # 输出：3D张量 (batch_size, sequence_length, output_dim) ``` #### 4. **完整用法示例** ##### 示例1：文本分类基础模型 ```python import tensorflow as tf model = tf.keras.Sequential([ # 词汇表1000词，64维嵌入，序列长度50 tf.keras.layers.Embedding( input_dim=1000, output_dim=64, input_length=50, mask_zero=True # 处理填充值 ), tf.keras.layers.Flatten(), # 展平为2D tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dense(10, activation='softmax') ]) model.compile(optimizer='adam', loss='categorical_crossentropy') ``` ##### 示例2：预训练嵌入加载 ```python import numpy as np # 创建伪预训练矩阵 (1000个词，64维) pretrained_matrix = np.random.rand(1000, 64) model = tf.keras.Sequential([ tf.keras.layers.Embedding( input_dim=1000, output_dim=64, embeddings_initializer=tf.keras.initializers.Constant(pretrained_matrix), trainable=False # 冻结嵌入层 ), tf.keras.layers.GRU(128), tf.keras.layers.Dense(1, activation='sigmoid') ]) ``` ##### 示例3：结合LSTM处理变长序列 ```python inputs = tf.keras.Input(shape=(None,)) # 可变长度序列 x = tf.keras.layers.Embedding( input_dim=5000, output_dim=128, mask_zero=True # 关键：启用掩码 )(inputs) x = tf.keras.layers.LSTM(64)(x) outputs = tf.keras.layers.Dense(1)(x) model = tf.keras.Model(inputs=inputs, outputs=outputs) ``` #### 5. **最佳实践与注意事项** 1. **维度选择**： - 小数据集：$d_{emb} = \sqrt[4]{n_{vocab}}$（词汇量的四次方根） - 大数据集：$d_{emb} = 100 \sim 300$ 2. **初始化技巧**： ```python # 使用截断正态分布初始化 tf.keras.layers.Embedding( ..., embeddings_initializer=tf.keras.initializers.TruncatedNormal(stddev=0.02) ) ``` 3. **正则化应用**： ```python # 添加L2正则化防止过拟合 tf.keras.layers.Embedding( ..., embeddings_regularizer=tf.keras.regularizers.l2(1e-4) ) ``` 4. **性能优化**： - 使用`tf.keras.layers.Masking`替代`mask_zero`可提升GPU利用率 - 大词汇表场景优先使用`tf.nn.embedding_lookup` #### 6. **数学推导** 嵌入层本质是查表操作： $$ \text{Output}_{i,j,k} = W_{input_{i,j},k} $$ 其中： - $i$: batch索引 - $j$: 序列位置索引 - $k$: 嵌入维度索引 - $W$: 可训练权重矩阵[^2][^4] #### 7. **常见错误处理** 1. **形状不匹配**： ```python # 错误：未指定input_length时连接Dense层 # 正确：添加Flatten层或GlobalPooling model.add(tf.keras.layers.GlobalAveragePooling1D()) ``` 2. **掩码失效**： ```python # 需确保后续层支持掩码传播 tf.keras.layers.LSTM(64, return_sequences=False) # 正确 tf.keras.layers.Conv1D(64, 3) # 错误：不传播掩码 ``` 3. **OOM解决方案**： ```python # 梯度累积技术 optimizer = tf.keras.optimizers.Adam() model.compile(optimizer=optimizer, ...) ``` #### 8. **进阶应用** ```python # 多模态融合：文本+图像 text_input = tf.keras.Input(shape=(100,)) img_input = tf.keras.Input(shape=(224,224,3)) # 文本分支 text_emb = tf.keras.layers.Embedding(10000, 128)(text_input) text_feat = tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64))(text_emb) # 图像分支 img_feat = tf.keras.applications.ResNet50(weights=None)(img_input) # 融合 merged = tf.keras.layers.concatenate([text_feat, img_feat]) outputs = tf.keras.layers.Dense(10)(merged) model = tf.keras.Model(inputs=[text_input, img_input], outputs=outputs) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值