词嵌入及方法one-hot、词袋、TFIDF

已于 2022-11-09 16:10:41 修改
阅读量988 收藏 6
点赞数 1
分类专栏： 自然语言处理 文章标签： 人工智能 python
于 2022-11-08 22:01:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/darren_ying0803/article/details/127752504
版权

词嵌入

1. 词嵌入的含义

机器学习和深度学习等统计算法处理数字。要对文本应用统计算法，你需要将文本转换为数字。例如，你不能将两个词 apples 和 oranges加起来。你需要将文本转换为数字才能对单词应用数学运算。

词嵌入实际上是一类技术，单个词在预定义的向量空间中被表示为实数向量，每个单词都映射到一个向量。举个例子，比如在一个文本中包含“猫”“狗”“爱情”等若干单词，而这若干单词映射到向量空间中，“猫”对应的向量为（0.1 0.2 0.3），“狗”对应的向量为（0.2 0.2 0.4），“爱情”对应的映射为（-0.4 -0.5 -0.2）（本数据仅为示意）。像这种将文本X{x1,x2,x3,x4,x5……xn}映射到多维向量空间Y{y1,y2,y3,y4,y5……yn }，这个映射的过程就叫做词嵌入。
之所以希望把每个单词都变成一个向量，目的还是为了方便计算，比如“猫”，“狗”，“爱情”三个词。对于我们人而言，我们可以知道“猫”和“狗”表示的都是动物，而“爱情”是表示的一种情感，但是对于机器而言，这三个词都是用0,1表示成二进制的字符串而已，无法对其进行计算。而通过词嵌入这种方式将单词转变为词向量，机器便可对单词进行计算，通过计算不同词向量之间夹角余弦值cosine而得出单词之间的相似性。
在这里插入图片描述

2. 词嵌入的方法

SKlearn 库中可以构

最低0.47元/天 解锁文章
NLP - 词的表示：Bow,One-hot, TF-IDF、word2vec
AI工程化、开源分享、文档翻译、代码笔记
01-02 1036
文章目录词的表示潜在语义分析方法（BOW）Countervector 计数TF-IDFBOW 和 TF-IDF 方法的问题词的独热（One-hot ）表示独热问题的改进解决维度过大的问题解决无语义的问题 -- 词的分布式表示Word Embedding 词嵌入使用场景Word embedding的训练方法1、无监督或弱监督的预训练2、端对端（end to end）的有监督训练。参考资料 参考转载自： https://www.jianshu.com/p/cede3ae146bb 词的表示 潜在语义分析方法
NLP基础1-词向量之序号化，One-Hot，BOW/TF，TF-IDF
qq_45792437的博客
11-01 354
在分词之后，需要将文本数据转换成数值型数据。序号化、哑编码 (One-Hot)、词袋法 (BOW/TF)、TF-IDF
词嵌入的基本方法
chunlinqin的博客
10-07 1553
词嵌入的基本方法引入问题基本概念基于频率的词嵌入计数向量化TF-IDF向量化具有固定上下文的共现窗口共现矩阵的优点共现矩阵的缺点 引入问题 当您搜索梅西时，我们如何使计算机告诉您有关足球或罗纳尔多的信息？您如何使计算机理解“苹果是美味的水果”中的“苹果”是可以食用的水果，而不是公司的水果？ 上述问题的答案：为单词创建表示形式，以捕获单词的含义，语义关系以及所使用的不同上下文类型。 基本概念 词嵌入是一种表示文本的方式，其中词汇中的每个词都由高维空间中实数值向量表示，为了具有相似含义的单词在向量空间中具有相似
one-hot（独热）、bag of word（词袋）、word-Embedding（词嵌入）浅析
夕小瑶科技说
04-11 7951
目录 词袋模型 one-hot word-embedding 我们知道，传统的数据挖掘任务面向的是结构化数据。结构化数据很好理解，就是很有结构的数据嘛。 比如下面这张银行客户数据库中的表格： 编号 姓名 年龄 年收入 职业 有无欠贷 01 ...
词嵌入算法
s1162276945的博客
03-16 2215
Word Embedding 为了克服文字长短不一和将词与词之间的联系纳入模型的困难，人们使用了一种技术——词嵌入。 常见的词嵌入算法有：“Word2Vec”和“Glove” 「词嵌入（word embeddings）」术语，来指代词语在低维度向量空间的稠密表示。「词嵌入」和「分布式表征（distributed representations）」是两种可互换的表示方法。我们将特别强调「神经词...
易懂AI自然语言处理算法:词嵌入模型（Word Embedding Models）Transformer模型（如BERT, GPT）无监督学习算法 K-均值聚类（K-Means Clustering）
chenhao0568的专栏
12-11 2285
比如，如果你在读一个故事中的某个角色的对话，你可能会同时想到这个角色之前的行为或其他角色的相关反应。PCA通过数学转换，将原来的特征转换为新的特征（称为主成分），这些新特征彼此之间没有相关性（即它们是正交的）。主成分分析（PCA）是一种统计方法，用于在数据中找到最重要的特征，同时减少数据的维度，但尽可能保留原始数据的重要信息。可以把它想象成一个从多维空间到低维空间的映射过程，它找到了一个新的坐标系统，使得数据在这个新系统中的分布尽可能分散（即方差最大化）。它是单向的，这意味着在生成文本时，只考虑之前的词。
文本表示模型中涉及的知识点整理(词袋模型，TF-IDF，主题模型，词嵌入模型)
一米阳光-的博客
09-05 1万+
  1.词袋模型（Bags of Words） 词袋模型是最基础的文本表示模型，就是把每一篇文章看成一袋子单词，并忽略每个此出现的顺序。具体就是将整段文本以词为单位分开，每篇文章可以表示成一个长向量，向量中的每一维代表一个单词，而该维对应的权重代表这个词在文章中的重要程度。一般用TF-IDF计算权重,公式如下： TF-IDF(t,d) = TF(t,d) x IDF(t) 其中TF(t,d...
特征提取方法：One-hot、TF-IDF、Word2vec
Yuan's Blog
08-02 1819
文章目录定义计算方法TFIDFTF-IDFPython实现CountVectorizer & TdidfTransfomerTfidfVectorizer 定义 TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Frequency)，IDF是逆文本频率指数(Inverse Document Frequency)。 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的
01_文本向量表示(one-hot,TF-IDF,Embedding)学习总结(不对的地方欢迎留言指正)
zhulinfeng_w的博客
04-07 361
例如:文档数2个,包含[的] 也是2 idf = log(2/2) = 0 tf(的) = 100 tf*idf = 100 * 0 = 0,就把的过滤了。文章中的额图片是在网上找到的图,如有侵权请私信删除。本文借鉴了很多文章，仅作个人学习总结。，证明这个词对于这个文档的。
【NLP】词袋模型（bag of words model）和词嵌入模型（word embedding model）
学渣的博客
11-24 3万+
本文作为入门级教程，介绍了词袋模型（bag of words model）和词向量模型（word embedding model）的基本概念。 1 词袋模型 我们先来看2个例句： Jane wants to go to Shenzhen. Bob wants to go to Shanghai. 将所有词语装进一个袋子里，不考虑其词法和语序的问题，即每个词语都是独立的。例如上面2个例句，就可以构成一个词袋，袋子里包括Jane、wants、to、go、Shenzhen、Bob、Shanghai。假设建立一
向量语义与静态词嵌入——从tf-idf到GloVe
钳子~~
03-05 1462
本文基于《Speech and Language Processing (3rd)》-- Chapter6 - Vector Semantics and Embeddings，并结合多篇论文和优秀的博客整理得到。 如有侵权，请联系删除。如需转载，请私信本人或在文章下方评论。 Chapter6 向量语义与嵌入 (Vector Semantics and Embeddings) 分布假说（distributional hypothesis）：在相似的语境中出现的单词往往有相似的意思。单词如何分布的相似性.
词嵌入----常用方法
m0_54123775的博客
03-16 1328
这种方法的优点是可以捕捉语义信息，而且训练速度很快，可以处理大量的数据。共现矩阵是基于单词出现的频率和上下文的窗口大小来构建的。共现矩阵元素 $C_{i,j}$ 表示词 $i$ 和 $j$ 在同一文本窗口中同时出现的次数。这种方法的缺点是只考虑了词的频率，忽略了语义信息，而且需要大量的计算资源。这种方法的缺点是向量表示不能体现单词之间的相似度，而且向量维度非常高，导致训练速度变慢。总体来说，词嵌入是一种非常有用的技术，可以使得机器学习算法更好地理解文本数据。1. One-hot编码 + 线性转换。
词嵌入
fu_jian_ping的博客
12-15 2396
B站上有一个讲词嵌入的视频，我认为讲的还可以： https://www.bilibili.com/video/BV1Ki4y1x7gJ?from=search&seid=14594580491827061010 将文本分解而成的单元（单词、字符或n-gram）叫做标记； 将文本分解成标记的过程叫做分词。 所有文本向量化过程都是应用某种弄分词方案，然后将数值向量与生成的标记相关联。 这些向量组合成序列张量，被输入到深度神经网络中。 将标记转换为向量的最常用最基本的方法是one-hot.
词嵌入（word embedding）
qq_41332469的博客
05-28 1202
1. 词汇表征 在前面学习的内容中，我们表征词汇是直接使用英文单词来进行表征的，但是对于计算机来说，是无法直接认识单词的。为了让计算机能够能更好地理解我们的语言，建立更好的语言模型，我们需要将词汇进行表征。下面是几种不同的词汇表征方式： one-hot 表征： 在前面的一节课程中，已经使用过了one-hot表征的方式对模型字典中的单词进行表征，对应单词的位置用1表示，其余位置用0表示，如下图所示：...
one_hot,embedding
DK_tian的博客
11-11 697
转载：笔记1 one-hot、embedding - 知乎one-hot在特征工程中需要对数据进行预处理，one-hot在数据预处理中比较常见 1.什么是one-hotOne-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对 N个状态进行编码，每个状态都由他独立的寄存器位，并且…https://zhuanlan.zhihu.com/p/146117421 one-hot 在特征工程中需要对数据进行预处理，one-hot在数据预处理中比较常见 1.什么是one-hot One-Hot编..
程序猿成长日记(三)TF-IDF的词嵌入自我理解(原理及实战)
Laugh_xiaoao的博客
11-19 663
TF-IDF的词嵌入自我理解TF-IDF原理解析及公式TF代码实现:IDF代码实现:最后的向量表示:main函数部分: TF-IDF原理解析及公式 TF-IDF技术是一种基于词的出现频率和词对于文档的不同重要程度而设立的一种模型, 其核心就只有两部分TF词频和IDF逆文档频率. 公式也比较简单: TF代码实现: TF部分实现的代码如下: def TFCalculate(OurDoc): ...
了解词嵌入
hollow__world的博客
04-02 1964
词嵌入是自然语言处理的一项核心技术，由于计算机无法理解人类的语言，词嵌入手段将词语转换成计算机能够理解的向量形式，同时也克服了传统方法中词语表示的稀疏性和高维度问题。词嵌入是将自然语言中的词语映射为实数向量的过程。在这个过程中，每个词语都被转换成一个固定长度的稠密向量，这些向量构成了词语的向量空间模型。在该模型中，语义或语法性质相似的词语的向量会彼此靠近。N-gram是一种基于统计的语言模型，用于建立一个项与其前面项序列之间的关联。
一文搞懂one-hot和embedding
热门推荐
Alex的博客
03-02 4万+
在 NLP领域，word embedding 已经成为了众所周知的技术。在现实生活中 word embedding 已经拥有非常广泛的应用：语音助手、机器翻译、情感分析… 因为 word embedding 的特殊性，它几乎覆盖了所有 NLP 的应用。接下来说说 传统的 one-hot 编码开始，阐述其优劣，并延伸至 word embedding 技术和其优点 人类可以很轻易地理解一个单词、词组或者字母，比如「LOVE」，但机器是理解不了的。想要让机器理解单词，就必须要把它变成一串数字（向量）。下面介绍.
word embedding以及one-hot编码的区别及应用
秀秀的奇妙旅行
04-28 4818
在 NLP领域，word embedding 已经成为了众所周知的技术。 在现实生活中 word embedding 已经拥有非常广泛的应用：语音助手、机器翻译、情感分析… 因为 word embedding 的特殊性，它几乎覆盖了所有 NLP 的应用。 本文将会从传统的 one-hot 编码开始，阐述其优劣，并延伸至 word embedding 技术和其优点 ​一、为什么要让单词变成向量 - ...
自然语言处理 词表示
最新发布
01-10
### 自然语言处理中的词表示方法 #### 一、基础概念 自然语言处理(NLP)涉及让计算机理解人类语言的任务。为了使计算机能有效处理文本，需将文本转换为数值型特征向量的形式，这一过程即称为词表示[^1]。 #### 二、传统词表示方法 ##### （一）One-Hot 编码 这是一种最简单的词表示方式，它给每个单词分配一个唯一的索引，在整个词汇表大小维度的空间里只有该位置上的值为1其余均为0来代表这个单词。这种方法简单直观但是存在明显的局限性——产生的向量非常稀疏，并且两个不同的词即使意义相近也会被映射到完全不相关的空间中去[^2]。 ```python from sklearn.preprocessing import OneHotEncoder import numpy as np encoder = OneHotEncoder(sparse=False) X = [['red'], ['green']] one_hot_encoded_X = encoder.fit_transform(X) print(one_hot_encoded_X) ``` ##### （二）词袋模型(Bag of Words, BoW) 此方法统计文档内各个词汇出现次数构成特征向量，忽略了词语顺序信息；对于长度较长的文章来说可能会丢失很多上下文关联的信息。 ```python from sklearn.feature_extraction.text import CountVectorizer corpus = [ 'This is the first document.', 'This document is the second document.' ] vectorizer = CountVectorizer() X = vectorizer.fit_transform(corpus).toarray() print(vectorizer.get_feature_names_out()) print(X) ``` ##### （三）TF-IDF (Term Frequency-Inverse Document Frequency) 通过计算某个词项在整个语料库里的重要程度来进行加权调整后的BoW版本，一定程度缓解了单纯基于频率带来的偏差问题，但仍未能很好地反映词汇间的语义相似度关系。 ```python from sklearn.feature_extraction.text import TfidfVectorizer tfidf_vectorizer = TfidfVectorizer() Tfidf_matrix = tfidf_vectorizer.fit_transform(corpus).toarray() print(tfidf_vectorizer.get_feature_names_out()) print(Tfidf_matrix) ``` #### 三、现代嵌入式(Embedding)技术 随着深度学习的发展，出现了更加先进的词表示方案—Word Embeddings（词嵌入），这类方法试图把每一个词都投影到低维连续实数空间内的稠密向量上来表示，使得几何距离能够反映出某些意义上的语义接近性。典型例子包括但不限于： - **Word2Vec**: 利用神经网络训练得到固定长度的分布式表示； - **GloVe**(Global Vectors): 基于矩阵分解的思想构建全局共现概率分布下的最优解； - **FastText**: Facebook提出的改进版CBOW/Skip-Gram架构，特别适合处理罕见字/未登录词的情况。 上述三种都是预训练好的静态embedding框架，而近年来兴起的一些动态微调机制如ELMo(Efficient Language Model)，BERT(Bidirectional Encoder Representations from Transformers)则进一步提升了下游任务的表现力，因为它们可以根据具体应用场景灵活改变内部参数从而获得更好的适应能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值