图计算黑科技:打开中文词嵌入训练实践新模式

中文NLP的第三步:获得词向量/词嵌入 word embeddings,基于 PaddleHub 实现(学习心得) 之前的步骤中,我们已经把句子进行了词语切分 中文NLP的第一步:分词,基于 PaddleHub 实现,绝对小白友好(学习心得) 然后把这些切好的词,根据现成的 词表,转化成了 ID 中文NLP的第二步:分词转词表ID,基于 PaddleHub 实现(学习心得) 第三步,把词语转化为 word embeddings 这里我们依然使用 PaddleHub 提供的 word2vec_skipgram 模型,模型的介绍可以见上一篇 程序实现: import numpy as np from scipy.spatia 阅读详情

导语 | 在自然语言处理领域,文本表示学习技术可以帮助我们将现实世界转化为计算机可以处理的数据,以求更精准地建立学习模型。而在中文搜索场景下,同音词、易混词、错别字等文本的召回和相似度匹配一直存在着棘手的问题,本文将尝试从图计算的角度来进行中文词向量的训练,并取得了积极的效果,希望与大家一同分享交流。

文章作者:翟彬旭,腾讯云大数据高级研发工程师。

 

一、技术背景

 

在中文搜索场景下,同音词、易混词、错别字等文本的召回和相似匹配是一个常见且棘手的问题。NLP(自然语言处理)社区对文本的匹配和召回已经经历从早期的基于分词和倒排索引的全文检索过渡到如今流行的文本向量检索。

向量检索通过训练和学习文本的分布式表征得到文本向量,可以解决倒排索引无法解决的语义相似度匹配问题,而且针对高维向量的大规模快速检索在业界已经有相当成熟的解决方案,如Faiss、Nmslib等。

但目前业内常用的表示学习方法很少考虑中文场景下由于输入法输入错误、发音问题等导致的文本相似匹配问题。

例如,在笔者所在的腾讯云企业画像产品研发过程中,就经常遇到类似的需求。当用户在我们的产品中搜索“腾迅科技集团股份有限责任公司”时,此时用户希望搜索的企业工商注册名称应该是“腾讯科技(深圳)有限公司”,但由于输入法错误(将“腾讯”错输为“腾迅”)、认知错误(将“有限责任公司”误认为“集团股份有限责任公司”)等原因,导致用户输入无法匹配到想要的搜索结果,甚至出现OOV的情况(“腾迅”可能不在词表中)。

如何在无需过多考虑语义相似度的前提下解决中文词形学表示学习的问题是本文讨论的重点话题。

二、词嵌入训练的演进

 

在统计学习模型中,使用词嵌入(Word Embedding)完成自然语言处理任务,是NLP领域里的一项关键技术。常见的词嵌入(又称为文本表征)训练方法及主要特点如下图所示。

图1. 文本分布式表征方法概览

早期的词嵌入研究主要包括One-hot编码、TF-IDF等词袋模型。词袋模型(Bag of Words, BOW)是指忽略文档的语法和语序等要素,将文档仅仅看成是若干无序单词的集合,并且每个词都是独立的。

这些方法都属于离散表示法,当词汇表庞大时,会占用很大的存储空间,词汇表的大小决定了向量的维度大小,存在维数灾难问题。此外,这类方法无法通过任何计算得到词语之间的相似度,因此词向量之间不存在关联关系。

鉴于词袋表示法存在维度灾难、语义鸿沟的问题,Yoshua Bengio等人在[1]中证明使用神经网络训练的语言模型可以生成更好的词向量,并且提出了很多优化训练的方法。

如下图所示,整个网络分为两部分,第一部分是利用词特征矩阵C获得词的分布式表示(即词嵌入)。第二部分是将表示context的n个词的词嵌入拼接起来,通过一个隐藏层和一个输出层,最后通过softmax输出当前的p(wt|context)(当前上下文语义的概率分布,最大化要预测的那个词的概率,就可以训练此模型)。

这一模型框架不但训练了一个用神经网络表示的语言模型,而且作为语言模型的副产物还获得了词语的词嵌入(存在矩阵C中)。           

图2. 经典的自然语言模型(Bengio et al., 2003)

经典语言模型的训练存在计算量大的问题(主要集中在隐含层到输出层的全连接层以及输出层的softmax计算上),具体实现较为困难,针对这些问题,Mikolov等人[2,3]在语言模型的基础上进行了简化并给出了Cbow和skip-gram两种架构的word2vec模型,同时在具体学习过程中可以采用两种降低复杂度的近似方法——Hierarchical Softmax和Negative Sampling。

如下图所示,这种架构大大简化了计算量。不过,word2vec训练出来的词向量与单词是一对一的静态映射关系,一词多义问题没有解决。

图3. word2vector模型结构

为了解决一词多义问题,ELMO模型[4]被提出来,它通过语言模型进行学习,得到一个词嵌入表示,在实际使用词嵌入时,根据上下文单词的语义再去调整单词的词嵌入表示,从而使得单词在不同的上下文语境得到不同的词嵌入表示。

网络结构采用双向LSTM网络。其中前向双层LSTM和逆向LSTM分别代表正方向和反方向编码器,输入分别是单词的上文和下文。一个句子输入到训练好的网络中,最终将得到每个单词三个不同的嵌入表示:双向LSTM中的两层词嵌入表示以及单词的词嵌入表示。其中双向LSTM中的两层词嵌入表示分别编码了单词的句法信息和语义信息。在做实际任务时,网络中单词对应的词嵌入表示将被提取出来作为新特征补充到实际任务中去。

ELMO根据上下文动态调整后的embedding不仅能够找出对应的相同语义的句子,而且还可以保证找出的句子中的同义词对应的词性也是相同的。不过,ELMO使用LSTM提取特征的能力不如后来的Transformer,其双向语言模型采取的是用简单的拼接来融合特征,一体化特征融合表现欠佳。

图4. ELMO模型示意图

BERT[5]作为动态词嵌入表示学习的集大成者,是一种双向融合特征的模型。

BERT提出两个任务:MLM(Masked Language Model)和NSP(Next Sentence Predict)。前者是词级别的,其采取的方法是,随机挡住15%的单词,让模型去预测这个单词,能够训练出深度的双向词嵌入向量表示;后者是句子级别的,也是一个二分类任务,其采取的方法是,将两个句子的序列串连作为模型的输入,预测后一句是否是前一句文本的下文,这一方法能够学习句子之间的关系,捕捉句子级别的表示。因此BERT得到的词嵌入表示融入了更多的语法、词法以及语义信息,而且动态地改变词嵌入也能够让单词在不同的语境下具有不同的词嵌入。

不过,BERT 对数据规模要求较高,如果没有足够大的语料,则很难达到预期的效果;其计算量很大,所需成本较高。

 

图5. BERT模型结构示意图

目前已经存在的主要词向量模型都是基于西方语言,这些西方语言的内部组成都是拉丁字母,然而,由于中文书写和西方语言完全不同,中文词语存在同音字、错别字等场景,而且中文字符内部的偏旁部首以及发音也包含了很强的语义信息,因此,如何有效利用中文字符内部的语义信息来训练词向量,成为近些年研究的热点[6,7,8]。

这里的典型代表是2018年蚂蚁金服提出的基于中文笔画的cw2vec模型[6]。文中将中文笔画划分为5类,类似于fasttext[9]的思想,每个词语使用n-gram 窗口滑动的方法将其表示为多个笔画序列。每个 gram 和词语都被表示成向量,用来训练和计算他们之间的相似度。为了简化计算文中也采用了负采样的方法,实验也取得了良好的效果。

图6. cw2vec模型示意图

三、存在的问题及解决方案

 

从以上相关工作可以看出,当前主要的词嵌入表征学习方法主要集中在从文本语料的上下文语义角度学习词嵌入,对于其他角度如中文词形学角度的研究较少。采用这些方法训练学习得到的词向量,即使在中文编辑距离较近、发音相同的词语,在词嵌入空间的距离也相差甚远。

例如,以腾讯AILab发布的百万词向量为例,该版词向量模型可以较好地捕捉中文词语间的语义相似度,但对于子词和同音字的相似度量场景,效果欠佳,如下图所示。

图7. 词向量相似度计算示例

在无需过多考虑语义相似度的前提下,本文提出从图计算的角度训练学习文本的向量表征,解决中文词形学相似匹配的问题。算法基本原理如下。

将常用汉字及业务场景下的词库构建无向带权图:每个词语和汉字作为图中一个节点,同时加入子词和拼音节点,依次在图中的“词语-子词-单字-拼音”节点间建立连边(如图8所示),根据字词之间在拼音和构成上的编辑距离(此处可根据业务需求灵活设置,亦可直接单独训练权重模型)为节点之间的连边赋予权重。

特别地,本文重点在同音字、平舌音、翘舌音以及子词序列等类型的节点间建立了连边,以保证同音字、易混字在图中可达,同时子词(subword)的引入在一定程度上保留了文本的语序特征。而后采用node2vec或metapath2vec等skip-gram类模型学习得到各节点的向量表示,以此作为字符的分布式表征。

图8. 构图示例

在游走方式的选择上,对于当前业内主要的学习方法,如deepwalk[10]、node2vec[11]、Line[12]、metapath2vec[13]等算法,考虑到这里构造的图是带权图,故而不宜采用deepwalk,而图中的节点关联需要考虑二度以上联系,故不宜采用Line,所以本文重点对比node2vec和metapath2vec算法在嵌入效果上的差异。

对于未登录词,可以采用类似FastText的方法将未登录词的单字向量求平均得到,如果单字也是未登录词则采用拼音节点的词向量代替。这种方式可以获得较高质量的词嵌入,使得词形上接近的单词在词嵌入空间也拥有较高的相似性,同时由于拼音和子词节点的加入,大大缓解了OOV(Out Of Vocabulary)的问题。

简而言之,算法主要步骤包括以下部分:构建图 —> 随机游走采样 —> 训练词嵌入。

以上就是对于腾讯自研的中文词形表示学习算法 AlphaEmbedding 的完整介绍。AlphaEmbedding 从图计算的角度重点解决针对中文场景下的分布式词表征学习问题,使得学习到的词向量在中文词形学角度相近的词语在向量空间中也拥有较近的距离。

四、实验结果

 

实验数据采用全量国内工商注册企业名称(约2.2亿家),对企业名称进行名称分割(这里由于业务需要,已经开发了一个可用的BERT-CRF序列标注模型),针对name字段清洗、过滤、去重后构建图。输入数据示例如下图所示:

图9. 名称分割示意图

构建图部分采用Pyspark实现,形成的图的规模包含千万节点、亿级边,随机游走和词嵌入训练采用WXG开源的plato计算框架在腾讯云EMR集群进行,在20个节点进行随机游走约用时1分钟左右,进行节点嵌入学习约耗时2小时左右。构建的带权图效果如下图所示:       

图10. 构建的无向带权图示例

在具体构图的实现方面,本文对比了两种实现方法:最初基于全称的排列组合,仅考虑同音词和子词在节点间建立连边,每个汉字节点最短两个字,拼音节点为对应汉字词语节点的拼音,我们称这种方法为combination style,其构图方式示意图如下图所示。

图11. combination style 构图示例

采用node2vec进行训练学习,以业务中常用的词语相似度排序为例,实验结果如下(检索词为“腾讯”,已在图中标红显示):

图12. combination style 效果

combination style 在业务应用中存在较多 OOV 的情况,之后采用更为简洁的“词语-子词-单字-拼音”构图方式(如图8所示),我们称之为fasttext style,并在节点嵌入学习中分别尝试了node2vec和metapath进行训练。这里仍以业务中常用的词语相似度排序为例,实验结果如下:

  

图13. fasttext style + node2vec 深度优先搜索效果

  

图14. fasttext style + node2vec 宽度优先搜索效果

  

图15. fasttext style + metapath2vec 效果

其中,三种游走方式的参数设置如下,除游走采样设置不同外,其他输入数据、嵌入学习参数均相同:

  • node2vec 深度优先:p=100, q=0.2, step=5, epoch=30

  • node2vec 宽度优先:p=100, q=5, step=5, epoch=30

  • metapath2vec:meta="3-2-1-0"(词语-子词-单字-拼音), step=5, epoch=30

  • word2vec: learning_rate=[(linear, 0.02, 0.0001)], window_size=5, epoch=20

从实验对比效果可以发现,combination style 的构图方式由于仅考虑库内词表的排列组合,图的规模最小(一千万节点),与检索词之间距离最近的都是同音词,但同音词间的排序未考虑单字构成上的相似度,拼音节点作为相似度排序的分界点,之后的子词节点相似度急剧下滑,总体效果相对欠佳。

metapath2vec 获得的词表规模相比 combination style 大但比 node2vec 小(两千多万节点),相似词语更偏好子词节点,且各近邻词语间的区分度较差。

这一结果可能与游走方式有关,一方面,metapath定义的游走方式较为固定,若仅采用“词语-子词-单字-拼音”的方式进行游走,实际业务图上存在较多词语(二字词语)没有子词而只能连接单字的场景(此时对应的metapath应该为“词语-单字-拼音”),这些metapath在采样时就会丢失,造成节点采样失衡,另一方面由于子词节点在游走过程中始终同词语节点共现,所以子词节点的相似度整体相对较高。由于metapath2vec 训练结果区分度差的特性,使得获得的词嵌入在下游任务中的表现并不理想。

node2vec 深度优先搜索和宽度优先搜索效果接近,二者获得的词表规模相同(近三千万节点),针对特定检索词返回的排序结果也很接近。

相对而言,深度优先搜索获得的结果可以匹配到编辑距离更大的子词,模型的容错边界被外推到更大的范围;宽度优先搜索获得的近邻词语间的区分度更加平滑,对下游任务的应用更加友好。而对于编辑距离相同的子词对,由于都考虑了n-gram词序信息,两种搜索方式返回的子词对的相对排序也基本相同。

整体而言,相对于上面提到的两种构图和游走方式,node2vec 模型获得的词向量效果相对更好,且宽度优先搜索的结果更符合业务需求。

五、总结

 

本文回顾了NLP领域当前主要的文本分布式表示学习方法,针对中文搜索场景下同音词、易混词等文本的相似匹配问题,尝试从图计算的角度提出一种词向量训练方法,使得模型学习到的词向量在中文词形学角度相近的词语在向量空间中也拥有较近的距离。

通过对比 combination style 和 fasttext style 两种不同的构图方式以及 node2vec 深度优先、node2vec 宽度优先和 metapath2vec 三种不同的边采样方法得到的词嵌入在业务应用中的效果,探索了图计算在文本表示学习中的应用,为提升业务效果提供了积极的帮助。

目前这一工作已经应用于腾讯云企业画像产品搜索业务中。未来我们会在相关方面进行更多尝试和探索,例如考虑加入笔画对单字构造建模,以期借此提升错别字的相似匹配效果;考虑采用GCN/GraphSAGE/GAT等图神经网络建模,以期提升词嵌入质量等,也欢迎业内同学提供更多思路,批评指正。

参考文献:

[1] Bengio, Y., Ducharme, R., Vincent, P., & Janvin, C. (2003). A Neural Probabilistic Language Model. The Journal of Machine Learning Research, 3, 1137–1155.

[2] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]//Advances in neural information processing systems. 2013: 3111-3119.

[3] Mikolov T, Chen K, Corrado G, et al. Efficient estimation of word representations in vector space[J]. arXiv preprint arXiv:1301.3781, 2013.

[4] Peters M E, Neumann M, Iyyer M, et al. Deep contextualized word representations[J]. arXiv preprint arXiv:1802.05365, 2018.

[5] Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv:1810.04805, 2018.

[6] Cao S, Lu W, Zhou J, et al. cw2vec: Learning chinese word embeddings with stroke n-gram information[C]//Thirty-second AAAI conference on artificial intelligence. 2018.

[7] Yin R, Wang Q, Li P, et al. Multi-granularity chinese word embedding[C]//Proceedings of the 2016 conference on empirical methods in natural language processing. 2016: 981-986.

[8] Xu J, Liu J, Zhang L, et al. Improve chinese word embeddings by exploiting internal structure[C]//Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2016: 1041-1050.

[9] Joulin A, Grave E, Bojanowski P, et al. Bag of tricks for efficient text classification[J]. arXiv preprint arXiv:1607.01759, 2016.

[10] Perozzi B, Al-Rfou R, Skiena S. Deepwalk: Online learning of social representations[C]//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. 2014: 701-710.

[11] Grover A, Leskovec J. node2vec: Scalable feature learning for networks[C]//Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining. 2016: 855-864.

[12] Tang J, Qu M, Wang M, et al. Line: Large-scale information network embedding[C]//Proceedings of the 24th international conference on world wide web. 2015: 1067-1077.

[13] Dong Y, Chawla N V, Swami A. metapath2vec: Scalable representation learning for heterogeneous networks[C]//Proceedings of the 23rd ACM SIGKDD international conference on knowledge discovery and data mining. 2017: 135-144.

 


社区底图

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

中文好用的词嵌入工具 实际应用中,建议根据任务需求先尝试开源模型(如 MacBERT、Chinese-SimBERT),若精度不足再考虑商业模型(如 Qwen2-gte、Ada-002)。对于垂直领域,优先选择领域专用模型或在通用模型基础上进行微调。在中文自然语言处理中,选择合适的词嵌入工具需要考虑模型对中文语言特性的支持(如分词、语义理解)、计算效率和领域适配性。 阅读详情

相关推荐

使用Python和gensim加载预训练的中文词嵌入模型

本文将介绍如何使用Python和gensim加载预训练的中文词嵌入模型。通过以上步骤,可以使用Python和gensim库加载和使用预训练的中文词嵌入模型。这些词嵌入模型可以提供有关中文词语的语义和上下文信息,帮助解决各种自然语言处理任务。在加载预训练的中文词嵌入模型之前,需要下载相应的模型文件。加载预训练的中文词嵌入模型后,可以利用它进行各种自然语言处理任务,如词语相似度计算、词语关联性分析等。一旦下载了预训练的中文词嵌入模型文件,可以使用gensim库的。步骤4:使用预训练的中文词嵌入模型。

TechProX的博客 507

预训练——词嵌入(word2vec)、 近似训练

预训练,跳元模型,词袋模型

liuyingshudian的博客 2246

用Python玩转Milvus:从安装SDK到完成第一个向量搜索Demo

本文为Python开发者提供了一份详细的Milvus向量数据库实战指南。文章重点讲解了如何规避版本兼容性陷阱,正确部署Milvus服务端并安装匹配的Python SDK。通过一个电影推荐系统的完整案例,演示了从数据建模、集合创建、向量插入、索引构建到执行混合搜索的全流程,帮助开发者快速上手并完成第一个向量搜索Demo。

weixin_29239279的博客 192

词嵌入算法

基于神经网络的表示一般称为词向量、词嵌入(word embdding)或分布式表示。 神经网络的词向量和其他分布式类似,都基于分布式表达方式,核心依然是上下文的表示以及上下文与目标词之间的关系映射。主要通过神经网络对上下文,以及上下文和目标词之间的关系进行建模,之所以神经网络可以进行建模,主要是由于神经网络的空间非常大,所以这种方法可以表达复杂的上下文关系。 1. 词向量 nlp中最常见的第...

lilong117194的博客 1万+

二阶系统的带宽(频域分析)

下面以典型I型系统为例,计算系统的开环截止频率和闭环截止频率。设I型系统为: 1:系统的开环截止频率为 2:系统的闭环截止频率 其实我们在工程整定时,把ζ = 0.707,也把系统的带宽近视看成自然震荡角频率即 (wb≈wc≈wnw_{b}\approx w_{c}\approx w_{n}wb​≈wc​≈wn​)对于二阶系统。 ...

wanrenqi的博客 2万+

Ubuntu 26.04 本地安装 GitLab CE 完整教程(非 Docker 方式)

本文详细介绍了在Ubuntu 26.04系统上通过Omnibus包安装GitLab CE的完整流程。主要内容包括:环境准备(系统要求、依赖安装)、配置清华镜像源、执行安装命令、修改配置文件、服务管理命令以及常见问题解决方法。文章特别强调了内存要求(建议4GB以上)、首次登录密码获取、HTTPS安全配置等关键点,并提供了性能优化建议和安全设置指导。相比Docker方式,Omnibus安装具有性能更好、管理方便等优势,适合需要私有化部署GitLab的场景。

1379

词嵌入模型

词嵌入模型 文章目录词嵌入模型词汇表征(Word Representation)使用one-hot表示的缺点特征化的表示使用词嵌入的步骤词嵌入的特性余弦相似度嵌入矩阵Word2VecSkip-Gram 模型CBOW模型负采样Glove词向量Glove的具体实现Glove的训练方式代码 词汇表征(Word Representation) 使用one-hot表示的缺点 1.如果要表示的词语个数比较多的话,one—hot会很占空间。 2.如"I want a glass of orange ()“与"I want

且慢 1667

售货机非现金支付开发指南:MDB协议下VPOS刷卡器的那些坑

本文深入探讨了MDB协议下非现金支付设备的开发实践,重点解析了NAYAX VPOS刷卡器的集成难点与解决方案。从RS232通信参数配置到Always idle功能实现,提供了一套完整的售货机支付系统开发指南,帮助开发者规避常见陷阱,提升设备兼容性与交易稳定性。

weixin_29258297的博客 137

pyspark中文文档_图计算黑科技:打开中文词嵌入训练实践新模式

导语 | 在自然语言处理领域,文本表示学习技术可以帮助我们将现实世界转化为计算机可以处理的数据,以求更精准地建立学习模型。而在中文搜索场景下,同音词、易混词、错别字等文本的召回和相似度匹配一直存在着棘手的问题,本文将尝试从图计算的角度来进行中文词向量的训练,并取得了积极的效果,希望与大家一同分享交流。文章作者:翟彬旭,腾讯云大数据高级研发工程师。 一、技术背景在中文搜索场景下,同音词、易...

weixin_39969340的博客 570

探索Vortex开源GPGPU:RISC-V SIMT架构(2),指令Decode

本文分析了Vortex RISC-V内核的Decode模块设计。文章详细介绍了指令译码过程,包括操作码、功能码和寄存器字段的提取,以及不同类型指令(R/I/S/B/U/UJ)的立即数处理。重点阐述了基于操作码和功能码的分层译码逻辑,包括ALU运算、分支跳转、系统调用等指令的译码规则。此外,还描述了定制指令的处理机制以及与调度器的握手协议。Decode模块通过组合逻辑实现快速译码,并将结果传递给下级Issue模块,同时协调指令流控制。

weixin_55313207的博客 1794

RTKLIB中RTK定位原理(一)

1 模型 1.1 非差观测值 非差观测值与RTKLIB中PPP定位原理——观测模型部分中一致。 1.2 单间单差观测值 若两个接收机距离较近,经过站间单差,电离层对流层延迟可消除,卫星s的钟差以及初始相位被消除,中依然包含接收机初始相位。 1.3 站间星间双差观测值 经过站间星间双差,接收机钟差及初始相位被消除。 2 EKF参数估计 2.1 EKF法则 EKF法则与RTKLIB中PPP定位原理——观测模型部分中一致。 2.2 状态变量与时间更新 (1)状态变量 在RTK...

papunzal的博客 3819

大规模图嵌入 示例_图计算黑科技:打开中文词嵌入训练实践新模式

导语 | 在自然语言处理领域,文本表示学习技术可以帮助我们将现实世界转化为计算机可以处理的数据,以求更精准地建立学习模型。而在中文搜索场景下,同音词、易混词、错别字等文本的召回和相似度匹配一直存在着棘手的问题,本文将尝试从图计算的角度来进行中文词向量的训练,并取得了积极的效果,希望与大家一同分享交流。文章作者:翟彬旭,腾讯云大数据高级研发工程师。 一、技术背景在中文搜索场景下,同音词、易...

weixin_31036469的博客 206

FLUKA软件在Ubuntu的安装指南(亲测有效)

FLUKA其强大的蒙特卡洛模拟能力使得用户能够模拟复杂的辐射相互作用过程

chencheng1127的博客 2889

学习记录6/8

使用激活函数,能够给神经元引入非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以利用到更多的非线性模型中。- 不使用激活函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合。MLP就是指人工神经网络,除了输入和输出,中间可以有多个隐藏层,且层与层之间以全连接得方式进行连接。通俗一点就是 当前要计算的值 和 哪些输入有关,和输入得个数越多则感受野越大。膨胀卷积层可增加感受野,扩大全局特征。卷积层是如何影响感受野呢?

weixin_44857576的博客 244

【GD32】DMA及串口应用

GD32 DMA控制器指南摘要 GD32 DMA控制器通过硬件直接管理数据传输,显著减轻CPU负担。主要特性包括: 双DMA控制器共14通道 支持内存/外设间多种传输方向 可配置数据宽度(8/16/32位) 地址自动递增和循环模式 配置流程: 使能DMA时钟 初始化参数(地址/方向/宽度等) 使能通道 配置外设DMA请求 典型应用场景: USART DMA发送:内存数据批量传输到串口 ADC DMA接收:循环模式实现连续采样 DMA通过硬件加速数据传输,提高系统效率,特别适合大数据量传输场景。

m0_58087444的博客 1567

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

中文词嵌入模型学习

中文词嵌入模型是一种将中文词语表示为固定维度的向量的技术。这些向量保留了词语之间的语义关系,使得相似的词在向量空间中距离更近。以下是关于中文词嵌入模型的详细介绍,包括其原理、特征以及如何使用。

pumpkin84514的博客 1881

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

自然语言处理:什么是词嵌入(word embedding)?

词嵌入(word embedding)是一种词的类型表示,具有相似意义的词具有相似的表示,是将词汇映射到实数向量的方法总称。词嵌入是自然语言处理的重要突破之一。下面将围绕什么是词嵌入、三种词嵌入的主要算法展开讲解,并通过案例具体讲解如何利用词嵌入进行文本的情感分析。 什么是词嵌入? 词嵌入实际上是一类技术,单个词在预定义的向量空间中被表示为实数向量,每个单词都映射到一个向量。举个例子,比如在一个文本中包含“猫”“狗”“爱情”等若干单词,而这若干单词映射到向量空间中,“猫”对应的向量为(0.1 0.2 0.3

枉费红笺的博客 1万+

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

词嵌入技术

词嵌入实际上是一类技术,单个词在预定义的向量空间中被表示为实数向量,每个单词都映射到一个向量。举个例子,比如在一个文本中包含“猫”“狗”“爱情”等若干单词,而这若干单词映射到向量空间中,“猫”对应的向量为(0.1 0.2 0.3),“狗”对应的向量为(0.2 0.2 0.4),“爱情”对应的映射为(-0.4 -0.5 -0.2)(本数据仅为示意)。像这种将文本X{x1,x2,x3,x4,x5……xn}映射到多维向量空间Y{y1,y2,y3,y4,y5……yn },这个映射的过程就叫做词嵌入。

顺其自然~专栏 2230

了解词嵌入

词嵌入是自然语言处理的一项核心技术,由于计算机无法理解人类的语言,词嵌入手段将词语转换成计算机能够理解的向量形式,同时也克服了传统方法中词语表示的稀疏性和高维度问题。词嵌入是将自然语言中的词语映射为实数向量的过程。在这个过程中,每个词语都被转换成一个固定长度的稠密向量,这些向量构成了词语的向量空间模型。在该模型中,语义或语法性质相似的词语的向量会彼此靠近。N-gram是一种基于统计的语言模型,用于建立一个项与其前面项序列之间的关联。

hollow__world的博客 2242

自然语言处理(一):词嵌入

简单来说,跳元模型就是通过假设一个词可以用来在文本序列中生成其周围的单词。以文本序列“the”“man”“loves”“his”“son”为例。Pthemanhisson∣lovePthemanhisson"∣"love若假设上下文词是在给定中心词的情况下独立生成的(即条件独立性)。

qq_51957239的博客 5695

八、词嵌入语言模型(Word Embedding)

词嵌入(Word Embedding, WE),任务是把的词转换为的向量,从而便于进行数学处理。一个更官方一点的定义是:词嵌入是是指把一个维数为所有词的数量的(one-hot形式表示的词)【嵌入】到一个的连续向量空间中,每个单词或词组被映射为实数域上的向量。Word Embedding 解决了 One-Hot 独热编码的两个问题。

contributed_l的博客 2983

如何用 Python 和 gensim 调用中文词嵌入预训练模型?

利用 Python 和 Spacy 尝试过英文的词嵌入模型后,你是不是很想了解如何对中文词语做向量表达,让机器建模时捕捉更多语义信息呢?这份视频教程,会手把手教你操作。 疑问 写过《如何用Python处理自然语言?(Spacy与Word Embedding)》一文后,不少同学留言或私信询问我,如...

weixin_34021089的博客 521

常见的文本嵌入模型文本嵌入模型、langchain

内容生成与处理选择:LLM(如 OpenAI 的理由:提供高质量语义嵌入,适用于复杂文本生成和处理任务。对话与交互选择:聊天模型(如 ChatGPT)理由:能够管理多轮对话和上下文,提供自然的对话体验。信息检索与相似性分析选择:文本嵌入模型(如 Sentence-BERT、OpenAIEmbeddings)理由:高效的语义检索和相似性计算,适用于文档检索和推荐系统。LangChain是一个功能强大的框架,专为构建基于大型语言模型的应用程序设计。令牌使用效率低:可以通过使用Tiktoken。

zc621_的博客 4993

NLP学习之词嵌入

NLP学习之词嵌入模型

SKkkkkl的博客 2333

NLP 中文词嵌入简单介绍

预处理 中文文本中的数据可能会乱七八糟,比如各种乱码、符号等,都需要去掉,我认为基本的标准就是能保证文本的格式和内容能像一个正常的文章供人阅读。 分词 中文文本数据在处理过程,第一步一般都是需要进行分词,这在英文文本分词中叫 tokenization ,基本的思想就是将文本分成一个个词或者字,由于中文不像英文天生有空格作为分隔符,所以中文分词是一个很大的研究领域,目前可以借助常用的如 jieba 等成熟的分词器进行中文文本的分词。 为什么要分词? 文本都是一些非结构化数据,我们需要先将这些数据转化为结构化数

王大呀呀的博客 1487
上一篇: 鹰眼 | 分布式日志系统上云的架构和实践
下一篇: 服务质量分析:腾讯会议&腾讯云Elasticsearch玩出了怎样的新操作?
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值