西湖大学自然语言处理（九）—— 特征向量和如何将文档映射到特征空间中

最新推荐文章于 2023-12-27 18:06:17 发布
最新推荐文章于 2023-12-27 18:06:17 发布
阅读量1.3k 收藏 1
点赞数 1
分类专栏： 自然语言处理学习 文章标签： 人工智能 机器学习 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45645521/article/details/123864629
版权

西湖大学自然语言处理（九）—— 特征向量和如何将文档映射到特征空间中

Feature Vector

Review Navie Bayes

在这里插入图片描述

Feature vectors

在这里插入图片描述
ϕ ⃗ \vec{\phi} ϕ ​表示从 1 − ∣ V ∣ 1-|V| 1−∣V∣个词在d中出现的次数

ϕ ⃗ \vec{\phi} ϕ ​ 与 θ ⃗ s p o r t s \vec{\theta}_{sports} θ sports​ 长度相同，都是 ∣ V ∣ |V| ∣V∣，这俩按位相称再求和就是朴素贝叶斯的计算公式

Vector Space Model

在这里插入图片描述

Vector representation of documents

在这里插入图片描述

Sparse vectors document representation

在这里插入图片描述

Stop words

在这里插入图片描述

TF-IDF vectors document representation

在这里插入图片描述
T F − I D F TF-IDF TF−IDF中 T F TF TF 指w这个词在d这篇文档中出现的次数， D F DF DF 指这个词在不同文档中出现的次数， D F DF DF 取倒数就是 I D F IDF IDF
在这里插入图片描述
在这里插入图片描述
可以清楚的看出，与count-based vector相比，用了TF-IDF计算后的向量，a的权重很明显的降低了不少

Summary

在这里插入图片描述

每天五分钟机器学习：支持向量机算法如何完成高维空间的特征映射
huanfeng_AI的博客
11-13 885
我们在上个课程中学会了如何通过标记点以及核函数学习样本的新的特征，然后训练出非常复杂的非线性判别边界的。但是有一些内容并没有讲到，而这个课程就是为了解释上节课程没有涉及到的内容，l(1)、l(2)、l(3),而且在复杂的系统中可能需要更多的标记点。
【CS324】LLM（大模型的能力、数据、架构、分布式训练、微调等）
发现问题，并解决问题，批判性思维
09-12 2286
语言模型最初是在信息理论的背景下研究的，可以用来估计英语的熵。 熵用于度量概率分布：熵实际上是一个衡量将样本 � ∼ � x∼p 编码（即压缩）成比特串所需要的预期比特数的度量。举例来说，“the mouse ate the cheese” 可能会被编码成 “0001110101”。熵的值越小，表明序列的结构性越强，编码的长度就越短。直观地理解N-gram模型在计算上极其高效，但在统计上效率低下。 神经语言模型在统计上是高效的，但在计算上是低效的。 大模型的参数发展：随着深度学习在2010年代的兴起和主要硬
NLTK自然语言处理--生成特征向量与文本相似度
justlpf的专栏
12-04 634
参考文章：NLTK自然语言处理（四）生成特征向量与文本相似度 - 程序员大本营 几种文本特征向量化方法 词集模型：one-hot编码向量化文本（统计各词在文本中是否出现） 词袋模型：文档中出现的词对应的one-hot向量相加（统计各词在文本中出现次数，在词集模型的基础上。） 词袋模型+IDF：TFIDF向量化文本（词袋模型+IDF值，考虑了词的重要性） N-gram模型：考虑了词的顺序 word2vec模型：使用文章中所有词的平均词向量作为文章的向量 ...
特征向量与自然语言处理：语义分析与情感分析
最新发布
AI天才研究院
12-27 414
1.背景介绍 自然语言处理(Natural Language Processing, NLP)是人工智能领域的一个重要分支，其主要目标是让计算机能够理解、生成和处理人类语言。在过去的几年里，随着大数据技术的发展，自然语言处理技术得到了广泛的应用，例如搜索引擎、语音助手、机器翻译等。在这篇文章中，我们将主要关注特征向量在自然语言处理中的应用，特别是语义分析和情感分析方面。 2.核心概念与联系 ...
学习笔记：投射到共享特征空间An Unsupervised Deep Transfer Learning Approach to reid
weixin_44523062的博客
07-31 773
其中一篇参考文献 2018Adaptation and Re-Identification Network: An Unsupervised Deep Transfer Learning Approach to Person Re-Identification 寻找共享特征空间，域不变特征
自然语言处理︱简述四大类文本分析中的“词向量”（文本词特征提取）
热门推荐
素质云笔记
08-09 5万+
笔者在看各种NLP的论文、文献、博客之中发现在应用过程中，有种类繁多的词向量的表达。笔者举例所看到的词向量有哪些。 词向量类型： 一个词一列向量，Hash算法，word2vec，LDA主题-词语矩阵； 一个词一个值，bow算法，词权重； 根据词向量组成句向量的方式： 如果是一词一列向量，一般用简单相加（相加被证明是最科学）来求得； 一个词一值的就是用词权重组合成向量的方
灯塔咖啡馆与人工智能算法
AI天才研究院
08-06 983
1970年代末，《明报》杂志经常推荐一些具有潜力的创业公司，其中就包括灯塔咖啡馆。由于该咖啡馆并没有像其他创业公司一样成功，因此才吸引了其他创业者的注意。著名科技评论家约翰·米尔斯曼曾说过，“灯塔咖啡馆”的成立只是一开始，它最终演变为一个成功的咖啡厅，因为它运用了先进的管理、营销和生意策略，在房地产业、金融业和互联网行业都取得了成功。我们今天要讨论的是这家咖啡馆及其所创造的影响，以及它作为一家创业公司和成功企业应具备的品质。1.1. 灯塔咖啡馆简介。
特征向量和特征值
weixin_40493805的博客
02-26 305
1、已经有人讲解的比较清楚，可以参考 https://www.zhihu.com/question/20507061（线性代数中，特征值与特征向量在代数和几何层面的实际意义是什么？）。但是，还是要有自己的理解。 2、矩阵和向量相乘就是向量的映射变换。如果将矩阵换成 squre matix ，那么就是在本向量空间的一种线性变化。这种变换包括方向和数值两个方面的变化。 3、从简单的例子去理解，但不一定...
自然语言处理(NLP)-1.3 向量空间模型(Vector Space Models)
Ogmx的博客
03-21 2707
1.向量空间模型(Vector Space Models) 1.1 基本概念 定义：向量空间模型将单词或文本用向量表示，通过上下文来获取其语义信息 功能：识别两文本/两类文档间的相似度和独立性 例： 单词基本相同的两句话可能有不同含义；而单词完全不同的两句话可能有相同含义 1.2 应用 信息提取 机器翻译 聊天机器人 2.构建向量空间 2.1 单词统计(Wor...
线性代数的本质（3）——映射、对角化、特征值与特征向量
LiQZ的博客
08-29 4665
这是我写的关于线性代数的第三篇文章，这些内容与前两篇文章的内容有很多的关联，如果不太了解行列式、线性变换的同学可以先看看我之前写的两篇文章，跳转链接如下：《线性代数的本质（1）——基底、向量、线性变换、逆阵、行列式》、《线性代数的本质（2）——线性相关/无关、秩、伴随矩阵、线性方程组、核、像》。 这里还是要强调两点： 这是我个人的总结与理解，如果有错误的地方请理解，也麻烦指出我的错误，谢谢； 这篇文章不是以应试为目的的，而是在于讲解线性代数的本质，如果是只想学会怎样计算的同学可以不用浪费时间了。 目.
核函数
李江龙的博客
08-18 921
对于非线性特征集的分类过程可拆解为两步： 第一步：利用非线性映射，将数据从输入空间映射到特征空间中 第二步：使用线性学习器对特征空间的数据进行分类 将以上两个步骤融合在一起，隐式完成输入空间数据集到特征空间数据集的映射，建立非线性学习器的方法，称为核函数方法。 核是利用测试点和训练点的內积表示的决策规则。几种常用核： 线性核、多项式核、高斯核、sigmoid核函数、混合核函数（前面几种结合起...
输入空间、输出空间、特征空间与假设空间
Lois_llw的博客
03-14 2046
一、输入空间 输入所有可能的取值集合。可以是有限个元素的集合，也可以是整个欧式空间（欧几里得发明的一个特别的度量空间）。 二、输出空间 输出所有可能的集合。与输入空间对应。同样可以是有限个元素的集合，也可以是整个欧式空间（欧几里得发明的一个特别的度量空间）。 三、特征空间 每个具体的输入是一个实例，通常由特征向量表示。所有的特征向量存在的空间成为特征空间。特征空间的每一维对应于一个特征。 特征向量： 其中，A是一个...
卷积神经网络CNN
积一时之步，臻千里之遥程
11-25 3720
转载自：https://blog.youkuaiyun.com/weixin_40645361/article/details/105018944（作者：一只懒猪猪） Part One.卷积神经网络的基本原理 一、卷积神经网络的基本结构 对于一个输入图像，进行卷积操作，得到一个特征图像feature map的一个值(紫色部分)，然后通过滑动卷积核对图像上的不同的区域做处理，可以得到这个特征图1。这个特征图1，就是对原始的图像通过卷积操作和激活函数这样的处理得到的。然后这个特征图1可以通过池化层pooling，然后
机器学习中的特征空间
null的专栏
10-23 4万+
声明：这篇博文主要是对参考文献中的那个PPT的学习之后记下的一些笔记，整理出来与大家一起分享，若笔记中有任何错误还请不吝指出，文中可能会使用到原作者的一些图，若侵犯到作者的权益，还请告知，我会删除，谢谢。一、机器学习的流程应用机器学习算法的流程大致可以分为： 收集数据 数据处理，提取特征 训练模型 模型部署 模型的应用及反馈 具体的衔接关系如下图所示：二、机器学习的关键问题在机器学习中主要有如下的三
机器学习（2）——PCA（principal components analysis 主成分分析）降维
qq_41921709的博客
02-20 826
概念 PCA（principal components analysis）即主成分分析技术，又称主分量分析。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 在统计学中，主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，...
nlp-自然语言处理三大特征抽取器（CNN/RNN/TF）比较
qq_42182596的博客
05-29 1536
资料参考： 放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较 一、nlp四大类任务 一类是序列标注，这是最典型的NLP任务，比如中文分词，词性标注，命名实体识别，语义角色标注等都可以归入这一类问题，它的特点是句子中每个单词要求模型根据上下文都要给出一个分类类别。 第二类是分类任务，比如我们常见的文本分类，情感计算等都可以归入这一类。它的特点是不管文章有多长，总体给出一个分类类别即可。 第三类任务是句子关系判断，比如Entailment，QA，语义改写，自然语
词向量：词向量的可视化
xunyishuai5020的博客
01-21 1713
词向量评价方法 词向量的目的是通过向量编码来表示单词的含义，一个好的词向量系统中，语义相近的单词间的距离也会越近。因此，将单词的词向量映射到空间坐标系中进行可视化观察，是最简单的词向量表示质量评价方法。 词向量的可视化 可视化中，三维空间绘图较为容易实现，对于高于3个维度的向量要先通过降维算法压缩到3维及以内，然后才便于可视化作图。 由此，词向量可视化具体实现代码如下： import numpy as np from sklearn.manifold import TSNE dim_reduce = TS
机器学习（一）--输入空间、特征空间、输出空间
hz_jhx的博客
06-18 2万+
注：在此讨论的内容默认是针对监督学习一、输入空间       直白点，输入‘X’可能取值的集合就是输入空间（input space）。输入空间可以是有限集合空间，也可以是整个欧式空间。二、输出空间       同样的，输出‘Y’可能取值的集合就是输出空间（output space）。输出空间可以是有限集合空间，也可以是整个欧式空间。三、特征空间       对于上面讨论的输入空间，每个具体的输入就...
人工智能(1)-样本空间、假设空间、版本空间
小枯林的博客
03-18 6395
这儿主要归纳一下，样本空间、假设空间、版本空间的定义，三者的联系与区别。 西瓜数据集编号色泽根蒂敲声好瓜1青绿蜷缩浊响是2乌黑蜷缩浊响是3青绿硬挺清脆否4乌黑稍蜷沉闷否一：样本空间      上表中给出了四种实际存在的情况，也即是我们目前所能获得的训练集。样本空间的标准定义是：所有可能存在的、合理的、情况的集合。机器学习的主要工作就是寻找从属性空间（X）到标记空间（Y）的一个映射关系。说法很多，但...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值