ngram低维表示学习笔记

Elasticsearch-edge_ngram和ngram的区别 前言 本文基于elasticsearch7.3.0版本 说明 edge_ngram和ngram是elasticsearch内置的两个tokenizer和filter 实例 步骤 自定义两个分析器edge_ngram_analyzer和ngram_analyzer 进行分词测试 创建测试索引 PUT analyzer_test { "settings": { "refresh_interval": "1s", "index": { "max_ngram_diff": 10 阅读详情

本文是学习N-GRAM-BASED LOW-DIMENSIONAL REPRESENTATION FOR DOCUMENT CLASSIFICATION
的笔记。如果英文好的,请直接看论文。
ngram是词袋模型的子类。对于提取上下文语义有重要意义,然而n很大时,维度将非常高,运算复杂度剧增。而工业界中的认为都对响应速度要求特别高。ngram低维表示能降低维度,大大提高效率。

ngram简介

语句是由词构成的序列,ngram认为当前词只与他前面的n-1个词有关。即一个语句中当前词出现的概率为P=P(w|前n-1个词)。
当n=1时,认为词只与当前词管,即词相互对立。忽略了词序信息
n>1时,能提取到一定程度的语义信息。通常n取1、2、3;由3增加到4时,性能并未增加多少,但是特征空间维度增加特别多(维度为|D|^n)。

ngram低维表示

这个模型在有些博客上称为LD算法,忧伤的是有的人可能查不到。。。。(我和我同事同时用goole搜索LD,我搜出来一些乱七八糟的,同事的第一个搜索结果就是。。。)

基本思想:ngram是基于语句是词序列(字==>词),LD认为语句是一语义序列(词==>语义);ngram是语义的基本提取,但是可能维度特别高,故我们转为学习ngram的特征。这样一个语句就可以由语义特征表示了。

主要流程分三步:

  1. 构建ngram的词向量:通过skip-gram或者Glove获得词向量,然后通过向量相加并求均值作为聚类的输入。获得的句向量维度相同,可以定义距离,故能做降维。
  2. 使用KMean对上一步学习到的词向量进行学习。就是普通的聚类算法。例如聚类为100类
  3. 把语句表示为语义为特征的向量。从上面获得了语义空间特征,语句就可以表示为以语义空间特征的向量,值为对应语义特征在语句中出现的频率。作者的示例中是用计数向量的各个分量最大值作为对应特征的值。如下图
    在这里插入图片描述

论文中作者总共考虑了5种ngram组合:在这里插入图片描述
作者的实验结果:

  • 2-gram好于1-gram、3-gram,混合gram更优
  • 语义相近的词属于同一类
  • 能清晰的区分反义词
  • 模型特征少了几百倍的情况下,性能好于LSA、LDA

论文里说这样获得的向量在SVM上会获得很好的效果。
但是我有疑问,这和词向量有什么区别?

MySql全文索引+Ngram MySQL 内置的全文解析器使用单词之间的空格作为分隔符,这对于不使用空格做分隔符的语言是一种限制。为了解决这一限制,MySQL提供了一个支持中文、日文和韩文(CJK)的ngram全文解析器。ngram 全文解析器支持InnoDB和MyISAM的全文索引。ngram解析器将文本序列分词为连续的n个字符。例如,你可以使用ngram全文解析器为“早上好呀”进行不同值的n分词。n=1: '早', '上', '好', '呀'n=2: '早上', '上好', '好呀'n=3: '早上好', '上好呀' 阅读详情

相关推荐

Elasticsearch——》ngram分词器

在 Elasticsearch 中,ngram 分词器是一种基于 n-gram 算法的分词器,用于将文本转换为一组 n-gram 词项。与其他一些分词器(如 standard 分词器)不同,ngram 分词器可以生成部分单词,并且不需要完整的词汇表。 ngram 分词器的工作原理是将输入文本切分成一个个较小的子字符串,然后将这些子字符串作为词项添加到索引中。这个过程涉及两个参数:min_gram 和 max_gram,它们控制了生成的词项的长度范围。

小仙~ 2555

浅谈自然语言处理(NLP)学习路线(二):N-Gram模型,一文带你理解N-Gram语言模型

你现在在看我的文章,这是一些文字,但是这些文字实质上是以像素点的形式呈现给你的,所以不要以为这些文字是计算机理解的元素,它不过是一些像素点组合出的可视化图像而已。可是我们现在有很多时候不仅仅是想让文字呈现在我们计算机屏幕上这么简单,更多的是想让计算机接收到一些文字信息后能够在它“心里”对这些文字信息进行理解、分析和处理,怎么办呢?这个时候,语言模型就派上用场了。我们知道,计算机接收到的所有类型的信息,本质上都是转化成“0、1”这两个数进行存储或者处理的,语言文字也不例外。

尚拙的博客 2917

政治光谱的流形嵌入:意识形态的低维表示

第1章:引言与背景 1.1 政治光谱与意识形态 政治光谱是描述政治立场和观点的一种方式,它通常通过一系列连续的维度来表示不同的政治立场。这些维度可能包括自由主义与保守主义、社会主义与资本主义、民粹主义与精英主义等。政治光谱上的各个点代表了不同的政治个体或政党的立场,而光谱的连续性反映了这些立

AI天才研究院 1554

Taming Pre-trained Language Models with N-gram Representations for Low-Resource Domain Adaptation

cross domain

qq_45949611的博客 313

15、卷积网络与低维表示学习:从图像分析到自动编码器

本文深入探讨了卷积网络在多个领域的应用,包括视频分析、音频图分析和自然语言处理等。同时重点介绍了低维表示学习的核心方法,如主成分分析(PCA)和自动编码器。PCA作为经典的线性降维方法,虽然计算简单但难以处理非线性关系;而自动编码器作为无监督学习模型,能够在标记数据稀缺的情况下学习到更优的低维表示,并在MNIST数字分离任务中表现优于PCA。文章还展示了如何使用PyTorch实现自动编码器进行数据降维与重建,并对PCA与自动编码器的性能进行了详细对比。最后,探讨了低维表示学习在数据可视化、特征选择和语义哈希

ee345的博客 65

基于ngram多特征的流量载荷类型分类方法.pdf

黄盛林1, 2, 4,王恩海1,何燕玲3,王伟4 1. 中国科学院计算机网络信息中心,北京 100190 2. 中国科学院大学,北京 100049 3. 西南科技大学,四川 绵阳 621010 4. 北龙中网 (北京) 科技有限责任公司,北京 100190 摘 要: 关键词: 准确的流量分类是解决网络拥塞、网络安全监管、流量计费等研究的基础。为了解决在线混合流 量 (加密与非加密) 一次性快速分类问题,本文结合传统特征提取和载荷特征提取的优点,提出五 元组加载荷 ASCII 出现频次的特征提取,并以此提出一种在线流量快速分类方法。实验表明,在 相同算法下,使用本文的特征提取比使用载荷特征提取,整体分类准确率提高了近 4%;基于五元 组加载荷特征提取、使用 C4.5 算法的在线流量快速分类方法是可行的。 在线流量分类;五元组;载荷特征;C4.5 决策树

深度学习总结笔记(二)

一、人工神经网络 1、神经元 人工神经元是构成人工神经网络的基本单元。人工神经元和感知器非常类似,我们说感知器的时候通常认为它的激活函数为阶跃函数,而神经元使用一个非线性的激活函数,典型的激活函数有sigmoid型函数、非线性斜面函数等。 单个神经元模型如图:   假定神经元接受n 个输入x = (x1, x2, ..., xn),用状态z 表示一个神经元所获得的输入信号x 的加权和

zgyggy的博客 1万+

存内计算路线再获加持,清华存内芯片登Science

通过这种方法,可以比较有效的控制二氧化铪忆阻层中的微观变化,以及内部的温度和电场,使得器件具有非常优异的电学特性,而且可以在工厂里大规模生产,推动了高性能忆阻器阵列的诞生。团队搭建了全硬件构成的完整存算一体系统,如下图7所示,在系统里集成了多个忆阻器阵列,并在该系统上高效运行了卷积神经网络算法,成功验证了图像识别功能,证明了存算一体架构全硬件实现的可行性,并且成功实现了以更小的功耗和更低的硬件成本完成复杂的计算[6]。根据测试,在一般神经网络中权重更新的最后阶段,调整步长非常接近0,如图9(C)所示,

PXX12345678的博客 1558

MySQL 的 ngram 全文解析器

mysql 的 ngram 全文解析器,ngram_token_size配置和使用

jkzyx123的博客 2187

博流BL602开发二 环境搭建与固件烧录实战

本文详细介绍了博流BL602 RISC-V芯片开发环境的搭建与固件烧录全流程。从Linux/WSL系统选择、RISC-V工具链配置、SDK获取,到编译首个Wi-Fi示例并生成固件镜像,再到通过命令行或图形化工具完成烧录及串口测试,提供了完整的实战指南和常见问题解决方案。

weixin_29175469的博客 453

使用R语言读取和处理CSV数据集

查看数据集的结构str(data)# 查看数据集的摘要统计信息str()函数将显示数据集的结构信息,包括变量名称、类型和前几行的值。summary()函数将提供数据集的摘要统计信息,如均值、中位数、最小值、最大值等。

CyberGenius的博客 3856

ElasticSearch之ngram分词器

一、什么是NGram 分词器? edge_ngram和ngram是ElasticSearch自带的两个分词器,一般设置索引映射的时候都会用到,设置完步长之后,就可以直接给解析器analyzer的tokenizer赋值使用。

茅十八 9979

顶级AI大模型白嫖ChatGPT Plus1个月,0成本薅顶配功能

Chat*** Plus限时免费1个月!原价20美元/月的顶配功能

BUG猿的博客 7308

mac mysql ngram_MySQL ngram

MySQL ngram简介:本教程向您展示如何使用MySQL ngram全文解析器来支持中文,日文,韩文等表意语言的全文搜索。MySQL ngram全文解析器简介内置的MySQL全文解析器使用空格确定单词的开头和结尾。当涉及到诸如中文,日文或韩文等的表意语言时,这是一个限制,因为这些语言不使用单词分隔符。为了解决这个问题,MySQL提供了ngram全文解析器。从版本5.7.6开始,MySQL包含n...

weixin_33246707的博客 607

基于若依的ruoyi-nbcio-plus支持VForm3表单字段数据保存到数据库的一种方法——全网首创(一)

基于若依的ruoyi-nbcio-plus支持VForm3表单字段数据保存到数据库的一种方法——全网首创(一)

宁波阿成的博客 665

《QT+PCL》点云配准进阶——GROR配准

GROR点云配准

阁楼 1318

elasticsearch ngram, edgengram笔记

elasticsearch ngram, edgengram笔记

Mr.SoftRock的博客 538

在claude code中使用glm模型出现Unable to connect to Anthropic services的解决方案

本文主要介绍了在claude code中使用glm模型出现Unable to connect to Anthropic services的解决方案,希望能对使用claude code的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 13万+

mysql ngram_MySQL ngram全文解析器

本教程将向您展示如何使用MySQL ngram全文解析器来支持中文,日文,韩文等表意语言的全文搜索。MySQL ngram全文解析器简介MySQL内置的全文解析器使用空格确定单词的开始和结束。当涉及汉语,日语或韩语等表意语言语言时,这是一个限制,因为这些语言不使用分词符。为了解决这个问题,MySQL提供了ngram全文解析器。自MySQL5.7.6版起,MySQL将ngram全文解析器作为内置的服...

weixin_39663378的博客 1285

京东豆自动领取脚本配置教程

腾讯云/阿里云服务器(Docker环境):全自动跑脚本领京豆(无需本地代理,使用加速源)

AIOT魔法师 875

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

ElasticSearch之分词器edge_ngram和ngram的区别

ElasticSearch一看就懂之分词器edge_ngram和ngram的区别 1 year ago edge_ngram和ngram是ElasticSearch自带的两个分词器,一般设置索引映射的时候都会用到,设置完步长之后,就可以直接给解析器analyzer的tokenizer赋值使用。 这里,我们统一用字符串来做分词示例: 字符串 edge_ngram分词器,分词结果如下: {...

Frankltf的博客 1161

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

elasticsearch中分词器edge_ngram和ngram的区别

参考:https://www.phpmianshi.com/?id=199 简介 edge_ngram和ngram是ElasticSearch自带的两个分词器,一般设置索引映射的时候都会用到,设置完步长之后,就可以直接给解析器analyzer的tokenizer赋值使用。 场景 用 Elasticsearch 处理通配符查询不太适合,推荐用分词器 NGram,这个分词器可以让通配符查询和普通的查询一样迅速,因为该分词器在数据索引阶段就把所有工作做完了 示例 若要使用 NGram 分词器作为某..

tiancityycf的专栏 1991

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Elasticsearch中ngram和edgengram分词器

1. Analysis 简介 理解elasticsearch的ngram首先需要了解elasticsearch中的analysis。在此我们快速回顾一下基本原理: 当一个文档被索引时,每个field都可能会创建一个倒排索引(如果mapping的时候没有设置不索引该field)。倒排索引的过程就是将文档通过analyzer分成一个一个的term,每一个term都指向包含这个term的文档集合。当查询query时,elasticsearch会根据搜索类型决定是否对query进行analyze,然后和倒排..

*** 棋了个怪_Rachel *** 2693

机器学习入门-文本数据-构造Ngram词袋模型 1.CountVectorizer(ngram_range) 构建Ngram词袋模型...

函数说明: 1 CountVectorizer(ngram_range=(2, 2)) 进行字符串的前后组合,构造出新的词袋标签 参数说明:ngram_range=(2, 2) 表示选用2个词进行前后的组合,构成新的标签值 Ngram模型表示的是,对于词频而言,只考虑一个词,这里我们在CountVectorizer统计词频时,传入ngram_range=(2, 2)来构造新的词向量的...

weixin_34378045的博客 2785

ngram mysql_mysql8 参考手册--ngram全文分析器

内置的MySQL全文语法分析器使用单词之间的空白作为定界符来确定单词的开始和结束位置,这在使用不使用单词定界符的表意语言时是一个限制。为了解决此限制,MySQL提供了一个支持中文,日语和朝鲜语(CJK)的ngram全文语法分析器。支持将ngram全文分析器与InnoDB和 一起使用MyISAM。注意MySQL还为日语提供了MeCab全文解析器插件,该插件将文档标记化为有意义的单词。有关更多信息,请...

weixin_30193461的博客 845

OpenNLP ngram n元语法模型(简介)

n元语法模型在这里不进行介绍,大家可以根据这两篇博客了解下:关于N-Gram模型或者自然语言处理中的N-Gram。 写这篇博客主要是要用到OpenNLP中的ngram模型(我用的opennlp-tools-1.7.0,版本,opennlp.tools.ngram包中),在这里对里面的类和方法的功能简要介绍。 一、NGramGenerator 类 1.功能:对给定的序列使用自定义的分隔

u011407081的博客 3794
上一篇: nlp基础知识总结
下一篇: python3 re.sub 解决missing < at position 54
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值