深入理解TensorFlow中Embedding和One-Hot的区别

TensorFlow中的Embedding与One-Hot编码详解
最新推荐文章于 2025-04-25 16:53:41 发布
最新推荐文章于 2025-04-25 16:53:41 发布
阅读量257 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： tensorflow embedding 人工智能 机器学习-深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DkVhdl/article/details/133259140
本文详细对比了TensorFlow中Embedding和One-Hot编码的区别，包括编码方式、维度表示、语义关系、存储效率和可学习性。在处理离散类别特征时，Embedding能捕捉类别间的关系，适合大规模类别；而One-Hot编码简单但存储空间大，适用于少量类别。

在TensorFlow中，Embedding和One-Hot是两种常用的向量表示方法，用于将离散的符号或类别转换为密集的实值向量。它们在自然语言处理（NLP）等领域中广泛应用。本文将详细介绍Embedding和One-Hot的区别，并提供相应的源代码示例。

One-Hot编码

One-Hot编码是一种将离散的类别特征表示为稀疏向量的方法。它将每个类别映射到一个唯一的整数索引，并创建一个向量，其中只有索引对应的位置为1，其余位置都为0。这种编码方法的优点是简单明了，易于理解和实现。下面是一个使用TensorFlow实现One-Hot编码的示例：

import tensorflow as tf

# 定义类别标签
labels = [0, 1, 2
了解本专栏 订阅专栏 解锁全文
TensorFlow中Embedding和One-Hot的区别及应用
YOLOv3333的博客
09-19 200
One-Hot编码生成的向量是稀疏的，维度较高，适用于离散度高的特征；Embedding生成的向量是稠密的，维度较小，适用于连续性较强的特征。在实际应用中，根据特征的不同特点选择合适的转换方式，以提高模型的性能与效果。这种向量化的表示能够在保留特征之间的相关性的同时，减少了高维度特征的冗余性。One-Hot编码产生的向量是稀疏的，大部分元素为零，只有一个元素为1；One-Hot编码生成的向量维度是特征取值个数的大小，而Embedding生成的向量维度是自定义的，较小且固定。函数来实现One-Hot编码。
NLP - 词的表示：Bow,One-hot, TF-IDF、word2vec
AI工程化、开源分享、文档翻译、代码笔记
01-02 1154
文章目录词的表示潜在语义分析方法（BOW）Countervector 计数TF-IDFBOW 和 TF-IDF 方法的问题词的独热（One-hot ）表示独热问题的改进解决维度过大的问题解决无语义的问题 -- 词的分布式表示Word Embedding 词嵌入使用场景Word embedding的训练方法1、无监督或弱监督的预训练2、端对端（end to end）的有监督训练。参考资料 参考转载自： https://www.jianshu.com/p/cede3ae146bb 词的表示 潜在语义分析方法
PyTorch 稀疏函数解析：embedding 、one_hot详解
CDBmax的博客
01-17 2537
本篇博客探讨了 PyTorch 框架中几个关键的稀疏函数，包括embedding和one_hot。这些函数在处理自然语言处理（NLP）任务和其他需要高效、灵活处理大量类别或序列数据的应用中至关重要。embedding函数用于从预定义的嵌入矩阵中检索指定索引的嵌入向量，支持自定义嵌入矩阵大小、填充索引和范数限制。提供了一种高效的方法来处理变长序列，通过聚合（如求和、均值或最大值）嵌入向量，而无需单独处理每个序列。one_hot。
一文搞懂one-hot和embedding
热门推荐
Alex的博客
03-02 4万+
在 NLP领域，word embedding 已经成为了众所周知的技术。在现实生活中 word embedding 已经拥有非常广泛的应用：语音助手、机器翻译、情感分析… 因为 word embedding 的特殊性，它几乎覆盖了所有 NLP 的应用。接下来说说 传统的 one-hot 编码开始，阐述其优劣，并延伸至 word embedding 技术和其优点 人类可以很轻易地理解一个单词、词组或者字母，比如「LOVE」，但机器是理解不了的。想要让机器理解单词，就必须要把它变成一串数字（向量）。下面介绍.
大语言模型中one-hot编码和embedding之间的区别？
IT荻的博客
02-16 971
例如，词汇表有10,000个词，每个词对应一个10,000维的向量，其中仅有一个位置为1（表示当前词），其余为0。参数可控：嵌入矩阵尺寸为V × D（D为嵌入维度，通常D=300），参数量远小于One-Hot方案。上下文感知：在Transformer等模型中，Embedding可结合位置编码，动态适应不同上下文（如“苹果”在“水果”和“公司”中的不同含义）。参数爆炸：若词汇表大小为V，模型输入层到第一隐藏层的权重矩阵尺寸为V × H（H为隐藏层大小），当V=10^5时，参数数量极大。
TensorFlow2中Embedding层的使用(tf.keras.layers.Embedding)
鹏啊鹏
04-10 7077
文章目录1 简介参数2 示例一2.1数据准备2.2 模型搭建与测试2.3 查看结果3 示例二 1 简介 嵌入层将正整数（下标）转换为具有固定大小的向量，如==[[4],[20]]->[[0.25,0.1],[0.6,-0.2]]== Embedding层只能作为模型的第一层 tf.keras.layers.Embedding( input_dim, output_dim, embeddings_initializer='uniform', embeddings_regu
Tensorflow Embedding层
weixin_42272768的博客
01-25 4076
Tensorflow的Embedding层实际功能就是完成从一个数组到另外一个数组的映射。比如数组x=[0,2,1,0,1,0]，经过下面的Embedding层后，得到的输出为： import tensorflow as tf x = [0,1,1.2,0.4,1,0,2] model = tf.keras.Sequential() model.add(tf.keras.layers.Embedding(3, 2, input_length=7))#输入维，输出维 model.compile('rmspro
one-hot和Embedding
m0_67084346的博客
12-01 1066
one-hot和Embedding，embedding代码
Tensorflow 之 embedding（一）
jack_jmsking的专栏
09-06 2万+
Tensorflow 之 embedding（一） 目录 1. embedding的含义 2. tensorflow中embedding实现流程 3. embbeding中如何进行查表 4. 如何训练得到embedding表 一、embedding的含义 说一个常见的应用，例如在机器翻译应用中，当我输入中文 “我这是在干嘛了？”，然后需要将其翻译成英文，首先第一步你得需要让计算机知道...
自然语言处理从小白到大白系列（2）word Embedding从one-hot到word2vec
ibelieve8013的博客
10-11 1467
我们知道，对于我们的计算机来说，没有办法像人一样理解自然语言，在人工智能领域，这还有很长一段路要走，就算要直接处理自然语言，都很困难。因此，人们想办法把自然语言用数字的方式表示，便于计算和分析，这就是为什么要做词嵌入：word embedding。本文将从以下的方面讲述word embedding：one-hot, word2vec, glove, fast-text.
One-Hot编码
Rhett_Butler0922的博客
04-25 814
One-Hot编码是处理分类变量的基础技术，PyTorch通过F.one_hot和torch.eye提供了高效实现。在深度学习中，One-Hot编码常用于标签处理，但对于高维特征，嵌入层（如）是更好的选择。
embedding层_tensorflow中的Embedding操作详解
weixin_39835321的博客
11-30 2962
注：欢迎关注本人分享有关个性化推荐系统公众号：Tiany_RecoSystem参考链接：https://www.jianshu.com/p/677e71364c8eembedding大家都不陌生，在我们的模型中，只要存在离散变量，那么一般都会用到embedding操作。今天这篇，我们将按以下的章节来介绍TF中的embedding操作。先大致给一个词向量的形象含义解释：用词向量表示词，就是把字典中的...
Tensorflow Embedding
qwexdl的博客
03-28 1336
一、随机初始化Embedding 1.1 原理 Embedding其实就是个lookup table, 通过tf.nn.embedding_lookup()来调用Embedding. 注意：在调用Embedding后，可以考虑使用dropout层。 注意：在Embedding内，可以考虑对提取的vector做缩放。见于《Attention is all you need》 1.2 示例代码 这是关于Embedding层的相关代码。 def embedding(inputs, vocab_size, num_
Tensorflow2.0学习（20）：Embedding——RNN
一枚小白的博客
03-03 1403
RNN 简单. 复杂. 实战 简单的单向RNN # 将每个词变成长度为16的embedding向量 embedding_dim = 16 batch_size = 128 model = keras.models.Sequential([ # keras.layers.Embedding要做的几件事： # 1.定义矩阵：[vocab_size, embedding_dim...
如何进行word embedding（tensorflow实现）
comli_cn的博客
01-29 2739
1. 什么是word embedding （1）从word到num 我们的自然语言，不管是中文还是英文都不能直接在机器中表达，此时就要将自然语言映射为数字。要映射成数字就要有字典，所以一般会先构建词典，举例如下： word_dict = {"我":0, "你":1, "他":2, "她":3, "是":4, "好":5, "坏":6, "人":7, "天":8, "第":9, "气":10, "今":11, "怎":12, "么":13, "样":14,
TensorFlow学习笔记——（12）Embedding编码方法
屿十_
08-18 2561
一、Embedding编码 1、概念 在前面的例子中，都采用了独热码的编码方式，独热码的位宽要与词汇量一致，如果词汇量增大时，非常浪费资源，因此自然语言处理中，有专门一个方向在研究单词的编码。 2、TF描述 词汇表大小：编码一共要表示多少个单词 编码维度：用几个数字表示一个单词 Embedding对于输入特征的维度也有要求： 3、实例代码 （1）一个字母预测 import numpy as np import tensorflow as tf from tensorflow.keras.layers
tensorflow篇——embedding代码实现
Time_traveler233的博客
07-03 1698
离散特征常见做法是将其转换为one-hot，但对于itemid这种离散特征，转换成one-hot之后维度非常高，但里面只有一个是1，其余都为0。这种情况下，我们的通常做法就是将其转换为embedding。 1.一个离散特征有一个取值，one-hot的时候，有一个地方为1。用embedding_lookup函数来实现emedding。 # embedding用tf.nn.embedding_lookup import tensorflow as tf embedding = tf.constant(
[TensorFlow深度学习深入]实战一·使用embedding_lookup模块对Word2Vec训练保存与简单使用
简明AI工作室
12-12 3505
[TensorFlow深度学习深入]实战一·使用embedding_lookup模块对Word2Vec训练保存与简单使用 Word2Vec简介 One hot representation用来表示词向量非常简单，但是却有很多问题。最大的问题是我们的词汇表一般都非常大，比如达到百万级别，这样每个词都用百万维的向量来表示简直是内存的灾难。这样的向量其实除了一个位置是1，其余的位置全部都是0，表达的...
one-hot-embedding是什么意思？
最新发布
12-04
<think> 首先，用户的问题是：“我想了解one-hot-embedding的含义 请问one-hot-embedding的定义”。用户使用了“one-hot-embedding”，这可能是一个误写或组合词。从引用中，我看到“one-hot 编码”和“embedding”是分开的，但用户说“one-hot-embedding”，这可能是想了解两者的关系或结合。 回顾引用： - 引用[1] 提到 one-hot 编码和 embedding。 - 引用[2] 讨论 Embedding 和 One-Hot 的区别。 - 引用[3] 总结了两者的区别。 - 引用[4] 解释了从 one-hot 到 embedding 的好处。 - 引用[5] 定义了 one-hot 编码。 用户似乎是将“one-hot”和“embedding”组合成了“one-hot-embedding”。但在上下文中，这很可能不是标准术语；更可能是指 one-hot 编码和 embedding 的概念，或者 embedding 如何用于处理 one-hot 编码。 在引用[4] 中，明确指出：“从one-hot变成embedding的一个好处...”，表明 embedding 可以用来替代或改进 one-hot 编码。 所以，用户可能在问什么是 embedding 在 one-hot 编码的上下文中，或者是 embedding 向量如何从 one-hot 编码派生。 我的回答需要： - 使用中文。 - 结构清晰。 - 基于引用提供真实可靠的信息。 - 遵循系统指令：行内数学表达式用 $...$，独立公式用 $$...$$，确保 LaTeX 正确。 - 生成相关问题。 步骤： 1. **澄清术语**：解释“one-hot-embedding”可能不是标准术语，但可以理解为 embedding 在 one-hot 编码中的应用或关系。 2. **定义核心概念**： - 定义 one-hot 编码。 - 定义 embedding。 - 解释它们之间的关系。 3. **基于引用**：引用中的关键点： - 引用[3]：对比表：One-Hot 编码是高维稀疏，Embedding 是低维稠密。 - 引用[4]：从 one-hot 到 embedding 的好处是节省空间。 - 引用[5]：one-hot 编码的定义。 4. **结构化回答**： - 先解释 one-hot 编码。 - 然后解释 embedding。 - 最后说明在上下文中“one-hot-embedding”可能指的是 embedding 用于替代 one-hot 编码。 5. **添加引用标识**：在相关部分末尾添加引用标识，如 [^1]。 6. **生成相关问题**：在最后添加相关问题部分。 回答大纲： - **引言**：澄清术语。 - **One-Hot 编码的定义**：基于引用[5]。 - **Embedding 的定义**：基于引用[2]和[3]。 - **关系解释**：说明 embedding 如何改进 one-hot 编码，从引用[4]。 - **总结**：强调在机器学习中 embedding 常用于处理离散特征。 - **相关问题**：生成2-3个相关问题。 确保 LaTeX： - 对于 one-hot 编码定义，使用行内数学表达式。 - 例如，如果有公式，如向量表示。 例如： - One-hot 编码：对于一个类别索引 $i$，其 one-hot 向量长度为 $N$，只有第 $i$ 位为 1，其余为 0，如引用[5]所述。 - Embedding：通常是一个查找表，将索引映射到低维稠密向量。 生成相关问题： 1. 如何在实际中使用 embedding 代替 one-hot 编码？ 2. embedding 和 one-hot 编码在神经网络中的区别是什么？ 3. 为什么 embedding 能捕捉语义信息？ 最后，确保回答真实可靠，基于引用。 </think> ### One-Hot-Embedding 的含义与定义 用户查询“one-hot-embedding”的定义。需要澄清的是，“one-hot-embedding”并非一个标准术语。它可能指的是 **one-hot 编码与 embedding（嵌入）的结合或关系**，即 embedding 如何用于处理或替代 one-hot 编码。下面我将逐步解释核心概念，并基于您的引用说明其含义。回答基于引用内容，确保真实可靠。 #### 1. **One-Hot 编码的定义** One-hot 编码是一种处理离散特征（如类别或符号）的方法。假设有 $N$ 个类别，每个类别分配一个唯一索引 $i$（从 $0$ 到 $N-1$）。该类别的 one-hot 向量是一个长度为 $N$ 的二进制向量： - 第 $i$ 位为 1。 - 其他位为 0。 例如，如果类别索引 $i=2$，且总类别数 $N=4$，其 one-hot 向量为 $[0, 0, 1, 0]$。这种编码是高维稀疏的（维度等于类别总数），不包含语义信息，主要用于简单分类任务[^5]。 #### 2. **Embedding 的定义** Embedding 是一种将离散符号（如单词或类别索引）映射到低维稠密向量的技术。它通过一个可学习的查找表实现： - 输入：一个索引（如 one-hot 编码的索引）。 - 输出：一个固定长度的实值向量（称为嵌入向量）。 - 维度：通常远低于 one-hot 编码的维度（例如，嵌入维度 $D \ll N$）。 在 TensorFlow 或 PyTorch 中，embedding 层会学习这些向量，捕捉特征间的语义关系（如相似性）[^2][^3]。 #### 3. **“One-Hot-Embedding”的含义** 虽然“one-hot-embedding”不是标准术语，但它在上下文中通常指 **使用 embedding 层处理 one-hot 编码的索引**。具体过程： - 先用 one-hot 编码表示离散特征（例如，将单词“apple”映射为索引 $i$，再转为 one-hot 向量）。 - 然后通过 embedding 层，将索引 $i$ 转换为一个低维稠密向量（即嵌入向量），而不是直接使用高维 one-hot 向量。 - 数学上，embedding 可以视为一个函数：给定索引 $i$，输出向量 $\mathbf{e}_i \in \mathbb{R}^D$，其中 $D$ 是嵌入维度。 这种方法的优势（基于引用）： - **维度降低**：one-hot 编码维度为 $N$（类别总数），而 embedding 维度为 $D$（通常 $D \ll N$），节省存储和计算资源[^4]。 - **语义捕捉**：embedding 向量可学习特征间的关系（如“king”和“queen”在向量空间中相近），而 one-hot 编码缺乏这种能力[^3]。 - **高效性**：embedding 直接通过查找表计算，避免稀疏矩阵运算，提高效率[^3]。 示例（基于引用[4]）： 在 PyTorch 中，embedding 层输入是索引张量（本质是 one-hot 编码的索引），输出是嵌入向量： ```python import torch import torch.nn as nn embedding = nn.Embedding(num_embeddings=3, embedding_dim=4) # 定义嵌入层：3个类别，嵌入维度4 x = torch.LongTensor([[1, 2, 1], [0, 1, 1]]) # 输入索引（相当于 one-hot 编码的索引） y = embedding(x) # 输出形状 [2, 3, 4]，即2个样本，每个样本3个词，每个词用4维向量表示 ``` 这里，输入 `x` 隐含了 one-hot 索引，embedding 层将其转为稠密向量，展示了“one-hot 到 embedding”的转换[^4]。 #### 4. **总结** “One-hot-embedding” 本质是 embedding 技术在 one-hot 编码上的应用：**使用 embedding 层将 one-hot 编码的索引转换为低维、语义丰富的向量**。它在大语言模型和深度学习中成为主流，因为能高效处理高维离散特征（如 NLP 中的词汇）[^3][^4]。在传统机器学习中，one-hot 编码仍用于简单场景，但 embedding 提供了更优的替代方案[^1][^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值