词向量相似性（Word Similarity）、类比任务（Word Analogy）实验数据

最新推荐文章于 2025-05-12 19:49:31 发布
原创 最新推荐文章于 2025-05-12 19:49:31 发布 · 4.8k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了词向量评估的两种主要方法：词的相似性任务和词的类比任务，并列举了常用的中英文数据集，如WordSim-353、MEN、SCWS、wordsim-240等，以及Chen2015年构造的评测文件，为词向量模型的性能评估提供了资源。

词向量验证的方法通常有: 词的相似性任务（Word Similarity） 以及 词的类比任务 (Word Analogy)。

词的相似性任务-Word Similarity

常用的英文数据集：WordSim-353 、MEN、SCWS

常用的中文数据集：wordsim-240、wordsim-297

词的类比任务-Word Analogy

常用的中文数据集：Chen 2015年构造的评测文件

常用的英文数据集：MSR、SYN、SEM（暂时还没收集到）

上述的数据集上传到了github上了 ：https://github.com/CallMeJiaGu/WordSimilarityAnalogyData

CallMeJiaGu
关注
自然语言处理之语言模型：Word2Vec：词向量与分布式表示
zhubeibei168的博客
06-09 1047
Word2Vec是Google在2013年提出的一种生成词向量的模型，它有两种主要的架构：CBOW(Continuous Bag of Words)和Skip-gram。这两种模型都旨在通过预测上下文或中心词来学习词向量，但它们的工作方式略有不同。Word2Vec是一种用于学习词向量的模型，它将自然语言中的词映射到高维空间中的向量，使得这些向量能够捕捉词与词之间的语义和语法关系。Word2Vec主要由两种模型构成：CBOW（Continuous Bag of Words）和Skip-gram。
GloVe词向量：原理详解及用python进行训练和应用GloVe
最新发布
数据知道的博客
08-09 6471
GloVe模型摘要： GloVe是一种结合全局统计与局部上下文的词向量学习方法。它通过构建词共现矩阵捕获词汇间的统计规律，并设计加权损失函数优化词向量表示。核心思想是将词向量点积与共现概率相关联，使用权重函数平衡高低频词对的影响。相比Word2Vec，GloVe能更好地利用全局信息，在低频词处理上表现更优。实践部分介绍了两种实现方式：使用gensim库训练小型自定义模型，以及加载预训练的大规模GloVe模型。该方法虽存在内存消耗大、静态表示等局限，但在语义保持和训练效率方面具有优势。
WordSIMilarity
05-25
用于语义开发，短文本的相似度
WordNet Similarity 词语相似度
05-29
WordNet Similarity 词语相似度 提供了多种计算方式
WordSimilarity
06-10
#这是我的第一个开源代码 本代码提供中文词的相似度计算 基于同义词林的词相似度计算 基于howNet的同义词计算 基于词向量的同义词计算 以上三个功能中，基于同义词林和howNet的同义词计算，均来自网上资源。我会尽快找到出处或代码作者和我联系 ##申明 以上算法的实现只是为了测试而用，难免会有些bug,我会尽快完善。 在后续的工作中，会添加更多的中文相似度计算方法。
Wordsimilarity-wordnet相似度计算工具
03-24
wordnet相似度计算，很难下载和使用，此包包含所有的方法足以使用。
word_similarity_relatedness_datasets
04-30
单词相似性和相关性数据集 该网页提供了一组数据集，用于对单词的相似性和相关性进行基准测试。 数据集描述于： Kliegr, Tomáš, and Ondřej Zamazal. Antonyms are similar: Towards paradigmatic association approach to rating similarity in SimLex-999 and WordSim-353. Data & Knowledge Engineering 115 (2018): 174-193. 链接到本文： SimLex999-捷克 ：根据SimLex-999单词对 ：根据SimLex-999单词对。 ：根据-CZECHSimLex-999单词对。 重新注释WordSim353 ：使用众包根据原始WordSim353准则重新注释了WordSim353单词对。 wi
基于PyTorch的词相似性与类比任务实现
PyTorch版”，描述相同，标签为“从代码学习深度学习”，压缩包内文件名为“词的相似度和类比任务”，表明这是一个以实践为导向的学习材料，重点在于通过编写和运行PyTorch代码来理解词向量在语义相似性与类比推理中...
词嵌入评估工具包：支持类比、相似性与分类基准测试
从功能结构上看，该软件包主要支持三类经典评估任务：类比推理（Analogy）、词语相似性计算（Similarity）以及文本分类（Classification）。类比任务通常以“男人之于女人，国王之于___？”的形式出现，测试模型是否...
《Python星球日记》 第65天：词向量与语言表示
Code_流苏：在代码中寻诗意，在实践中觅真知
05-12 863
《Python星球日记》 第65天：词向量与语言表示，今天我们将探索自然语言处理中的一个重要概念——词向量与语言表示。通过词向量，我们能够将文本中的单词转换为计算机可以理解和处理的数值形式，这是构建高效NLP应用的基础。
Word-Analogy:使用GLoVe词嵌入法找到词的类比
04-30
词类比 话题 给定三个词a，b和c，我们将必须生成下一个词d，以使a和b之间的关系与c和d之间的关系相同。 结果 这是单词嵌入的一些例子 学分 1.该存储库基于设置，。 2.杰弗里·彭宁顿（Jeffrey Pennington），理查德·索赫（Richard Socher）和克里斯托弗·曼宁（Christopher D. Manning）。 2014年。GloVe：单词表示的全局向量。 阅读更多有关它的。
pg_similarity：一组用于执行相似性查询的函数和运算符
02-14
介绍 pg_similarity是对支持相似性查询的扩展。 就实现而言，该实现紧密地集成在RDBMS中，因为它定义了运算符，因此可以使用~~~代替传统的运算符（=和<>）。 ！ （这些运算符中的任何一个都代表相似性函数）。 pg_similarity具有三个主要组成部分： 函数：实现文献中可用的相似性算法的一组函数。 这些函数可以用作UDF，并且将是实现相似性运算符的基础； 运算符：在相似度函数顶部定义的一组运算符。 他们使用相似性函数来获取相似性阈值，并将其值与用户定义的阈值进行比较，以判断其是否匹配； 会话变量：一组存储相似性函数参数的变量。 这些变量可以在运行时定义。 安装 PostgreSQL所支持上都支持pg_similarity 。 安装步骤取决于您的操作系统。 您还可以掌握克隆Git存储库的最新修补程序和功能。 $ git clone https://github
探秘BiLiangLtd的`WordSimilarity`项目：基于深度学习的语义相似度计算神器
gitblog_00022的博客
03-27 485
探秘BiLiangLtd的WordSimilarity项目：基于深度学习的语义相似度计算神器 WordSimilarity基于哈工大同义词词林扩展版的单词相似度计算方法项目地址:https://gitcode.com/gh_mirrors/wo/WordSimilarity 在这个数字化的时代，理解和挖掘文本数据的深层含义变得越来越重要，而WordSimilarity项目就是这样一个工具，它利用...
【NLP】 5. Word Analogy Task（词类比任务）与 Intrinsic Metric（内在度量）
weixin_48846514的博客
03-15 951
词类比任务和内在度量
词语相似度计算：5、训练各种相似度模型（LR，RF，NMF，LDA等）【待续】
mmc2015的专栏
03-21 3709
待续，主要是作业，不能提前放呀，前面很多基础工作都已经给大家铺好路了。。。。
【word2vec】word-analogy.c源码
无知的我
09-16 2927
// Copyright 2013 Google Inc. All Rights Reserved. // // Licensed under the Apache License, Version 2.0 (the "License"); // you may not use this file except in compliance with the License. // You
WordSimilarity 词汇相似度计算
Garfy's Blog
03-30 8015
WordSimilarity代码托管在 https://github.com/GarfyCN/WordSimilarity背景介绍词汇相似度计算基于WordSimilarity-353进行实验和分析工具和数据集实验数据： WordSimilarity-353 环境： Python 2.7 通过Socks代理访问google.com 工具： nltk (wordnet) gensim (word2ve
【Natural Language Processing】词汇相似度(Word similarity)计算
Lawe的博客
04-14 6085
以下词汇相似度计算方法的实现是基于WordSimilarity-353进行，即根据相关方法计算得到给定词汇的相似度后，再使用斯皮尔曼等级相关判定来计算所得的词汇相似度与已人工标注好的相似度之间的相关性。 一、基于语义词典的方法         常用的语义词典是WordNet，一般直接在Python里面使用，即通过pip install nltk来安装NLTK之后，再下载nltk-data放在相
自然语言处理：预训练 - 词的相似性和类比任务
yingzi的技术博客
09-21 830
除了找到相似的词，我们还可以将词向量应用到此类比任务中，例如，“man”:“woman”::“son”:“daughter”是⼀个词的类⽐。glove_6b50d中预训练词向量的词表包含400000个词和一个特殊的未知词元，排除输入词和未知词元后，我们在词表中找到“chip”一词语义最相似的三个词。为了演示在预训练词向量中捕捉到过去式概念，我们可以使用“现在式-过去式”的类比来测试句法：“do”:“did”::“go”:“went”下面输出与“baby”和“beautiful”相似的词。
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值