整理常用的中英文预训练词向量（Pretrained Word Vectors）

最新推荐文章于 2025-10-17 16:32:36 发布
原创 最新推荐文章于 2025-10-17 16:32:36 发布 · 1.6w 阅读 · 75 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #人工智能 #自然语言处理 #词向量 #文本分类

文章目录

引言

NLP用向量表示单词，这些向量捕获有关语言的隐藏信息，例如单词类比或语义。它还用于提高文本分类器的性能，可以广泛应用于许多下游文本处理任务。

本文整理一下常用的中、英文预训练词向量的链接，无须自己训练，下载即可使用。

腾讯中文词汇/短语向量（Tencent AI Lab Embedding Corpus for Chinese Words and Phrases）

官网：https://ai.tencent.com/ailab/nlp/zh/embedding.html
下载页面：https://ai.tencent.com/ailab/nlp/zh/download.html

2021年12月24日发布版本v0.2.0，提供四个版本下载，词汇规模有200万和1200万两种，词向量维度有100和200维两种，大家可以按需求下载。
在这里插入图片描述

  • 数据规模：1200 万个中文词汇、短语
  • 数据维度：提供100维、200维词向量
  • 数据来源：包含从新闻、网页和小说中收集的大规模文本
  • 数据优势：主要在于覆盖率、新鲜度和准确性。包含大量的领域词汇或俚语，如“喀拉喀什面河”、“皇帝菜”、“不念僧佛面”、“冰火两重天”、“煮酒论”英雄”，大多数现有的嵌入语料库都没有涵盖。还有一些近期出现或流行的新鲜词，如“冠病毒”、“元宇宙”、“了不起的新儿”、“流金岁月”、“凡尔赛文学”、“yyds”等。
  • 训练方式：Directional Skip-Gram1

使用方法

from gensim.models import KeyedVectors
wv_from_text = KeyedVectors.load_word2vec_format(file, binary=False)

中文词向量语料库 by 北京师范大学&人民大学

https://github.com/Embedding/Chinese-Word-Vectors

项

最低0.47元/天 解锁文章
gensim加载预训练词向量到模型中的使用方法
大数据开发、JAVA开发、人工智能AI
03-22 6986
gensim Introduction Gensim是一个用于从文档中自动提取语义主题的Python库，足够智能，堪比无痛人流。 Gensim可以处理原生，非结构化的数值化文本(纯文本)。Gensim里面的算法，比如Latent Semantic Analysis(潜在语义分析LSA)，Latent Dirichlet Allocation，Random Projections，通过在语料库的训练下检验词的统计共生模式(statistical co-occurrence patterns)来发现文档的语义结
pytorch如何使用torchtext初始化LSTM的embedding层？如何用各种预训练模型初始化embedding层？
学习笔记
04-25 2021
目录pytorch如何使用torchtext初始化LSTM的embedding层？如何用各种预训练模型初始化embedding层？ pytorch如何使用torchtext初始化LSTM的embedding层？ 由于我开始使用的是torchtext这个预处理的工具，使得建立词典，初始化embedding变得非常方便，一般下面几行就可以搞定调用预训练glove词向量模型初始化embedding。 vectors = Vectors(name='./vector/glove.6B.50d.txt') # 存
Python-30种语言预训练词向量模型
08-11
30 种语言预训练词向量模型
中文预训练词向量（百度百科 word2vec +Ngram)-数据集
03-30
中文预训练词向量北京师范大学中文信息处理研究所与中国人民大学 DBIIR 实验室的研究者开源的"chinese-word-vectors。github链接为：https://github.com/Embedding/Chinese-Word-Vectors。 此中文预训练词向量为百度百科Word + Ngram的词向量，可以直接从https://github.com/Embedding/Chinese-Word-Vectors下载。
深度拆解 “加载预训练词向量” 模块：从原理到工程化实现
最新发布
nnn__nnn的博客
10-17 717
本文详细解析了预训练词向量在NLP任务中的技术原理和工程实现。重点介绍了GloVe词向量的加载过程，包括文件解压、词向量解析、特殊符号扩展和词汇表构建四个关键阶段。通过Python代码示例展示了如何将文本转换为词向量矩阵，并说明了该模块在文本分类等任务中的应用方法。文章还探讨了模块的可扩展性，如支持不同维度的词向量和自定义特殊符号。预训练词向量作为NLP领域的基础设施，能有效提升模型的语义理解能力。
各种预训练的词向量(Pretrained Word Embeddings)
taolusi的博客
07-01 5992
转自：SevenBlue English Corpus word2vec Pre-trained vectors trained on part of Google News dataset (about 100 billion words). The model contains 300-dimensional vectors for 3 million words and phrases...
中文词向量的训练
Jasminexjf的博客
11-09 8257
最近在做毕设，需要对中文进行向量化表示，现有的最全中文词向量预训练向量有：最全中文词向量 part 1:以上链接中的词向量介绍： 格式 预先训练好的向量文件是文本格式。每行包含一个单词和它的向量。每个值由空格分隔。第一行记录元信息：第一个数字表示文件中的字数，第二个数字表示向量大小。 除了密集的单词向量（用SGNS训练）之外，我们还提供稀疏向量（用PPMI训练）。它们与liblinear的...
中文预训练词向量（静态）：Word2vec、GloVe、FastText
u013250861的博客
09-26 1315
外网地址： [Word2Vec] [DownloadLink]外网地址： [FastText]300维英语词向量：[百度云]外网地址： [Glove]国内地址：[百度云]国内地址：[百度云]
中英文词向量资源合集
飞星恋的博客
03-01 6122
主要针对当前NLP领域表现较好的词向量模型进行一下整理，分为中文和英文领域。 1.中文 针对中文领域，不需要再去找什么资源，github上提供了中文NLP的一个利器，去里面下载即可。 下载链接：https://github.com/Embedding/Chinese-Word-Vectors 除此之外，由腾讯的AILab发布的词向量模型表现也很不错：https://ai.tencent...
bert获得词向量_BERT中的词向量指南
weixin_39792475的博客
11-20 2955
作者：Chris McCormick编译：ronghuaiyang导读在本文中，我将深入研究谷歌的BERT生成的word embeddings，并向你展示如何通过BERT生成自己的word embeddings。在本文中，我将深入研究谷歌的BERT生成的word embeddings，并向你展示如何通过BERT生成自己的word embeddings。介绍历史2018年是NLP的突破之年。迁移学习...
BERT实战（1）：使用DistilBERT作为词嵌入进行文本情感分类，与其它词向量（FastText,Word2vec,Glove）进行对比
梆子井欢喜坨的博客
07-09 8603
这次根据一篇教程Jay Alammar: A Visual Guide to Using BERT for the First Time学习下如何在Pytorch框架下使用BERT。 主要参考了中文翻译版本 教程提供了可用的代码，可以在colab或者github获取。 1. huggingface/transformers Transformers提供了数千个预训练的模型来执行文本任务，如100多种语言的分类、信息提取、问答、摘要、翻译、文本生成等。 文档：https://huggingface.co/tr
汉语单词向量：100多个汉语单词向量上百种预训练中文词向量
02-19
中文单词向量 该项目提供了100多个中文单词向量（嵌入），它们经过不同的表示（密集和稀疏），上下文特征（单词，ngram，字符等）和语料库训练。 可以轻松获得具有不同属性的预训练向量，并将其用于下游任务。 此外，我们提供了一个中文类比推理数据集CA8和一个评估工具包，供用户评估其词向量的质量。 参考 如果使用这些嵌入和CA8数据集，请引用该论文。 沉力，赵哲，胡仁芬，李文思，刘涛，杜小勇， ，ACL 2018。 @InProceedings{P18-2023, author = "Li, Shen and Zhao, Zhe and Hu, Renfen and Li, Wensi and Liu, Tao and Du, Xiaoyong", title = "Analogical Reasoning on Chinese M
中文预训练词向量（知乎问答 word2vec +Ngram)-数据集
03-30
中文预训练词向量北京师范大学中文信息处理研究所与中国人民大学 DBIIR 实验室的研究者开源的"chinese-word-vectors"。github地址为：https://github.com/Embedding/Chinese-Word-Vectors 此中文预训练词向量为知乎Word + Ngram的词向量
Python-100ChineseWordVectors上百种预训练中文词向量
08-10
100 Chinese Word Vectors 上百种预训练中文词向量
【手写模型--中文预训练词向量】
weixin_42326092的博客
03-29 359
原文地址：https://tianchi.aliyun.com/dataset/6592。
中文词向量大全
shenyuan12的专栏
08-21 2381
# 中文词向量大全 https://github.com/Embedding/Chinese-Word-Vectors 里面有词向量下载（很多的类型） # 使用方法 下载后加载方式： unicode 字符哦！ import gensim from gensim.models import KeyedVectors model = KeyedVectors.load_word2vec_format( \ os.path.join(d,'wordmodel','sgns.fin...
ELMo预训练词向量模型
Kaiyuan_sjtu的博客
09-08 2466
引言Word Embedding：词嵌入。最简单的理解就是：将词进行向量化表示，抽象成为数学描述，然后可以进行建模，应用到很多自然语言处理的下游任务中。之前用语言模型做 Word Embe...
各种中文词向量集合
qq_42189083的博客
12-03 1023
中文词向量集合 https://github.com/Embedding/Chinese-Word-Vectors Word2vec / Skip-Gram with Negative Sampling (SGNS) Corpus Context Features Word ...
深度学习之循环神经网络（12）预训练的词向量
weixin_43360025的博客
10-08 1419
深度学习之循环神经网络（12）预训练的词向量  在情感分类任务时，Embedding层是从零开始训练的。实际上，对于文本处理任务来说，领域知识大部分是共享的，因此我们能够利用在其它任务上训练好的词向量来初始化Embedding层，完成领域知识迁移。基于预训练的Embedding层开始训练，少量样本时也能取得不错的效果。  我们以预训练的GloVe词向量为例，演示如何利用预训练的词向量模型提升任务性能。首先从官网上下载预训练的GloVe词向量表，我们选择特征长度100的文件glove.6B.100d.txt，
在中文领域最好的向量化模型是什么
03-08
<think>好的，我现在需要帮用户找到适用于中文的最优向量化模型。首先，用户的需求是中文文本的向量化，也就是将中文文本转换为数值向量的模型。我得先回想一下常见的文本向量化方法，特别是针对中文处理的模型。 中文和英文不同，处理时需要分词，所以分词工具可能也是一个考虑因素。不过用户主要问的是向量化模型，所以应该集中在如何将分词后的文本转化为向量上。传统的文本表示方法有TF-IDF、词袋模型（BoW），这些属于静态向量表示，每个词对应一个固定向量，无法捕捉上下文信息。但用户可能更关注的是现在主流的深度学习方法，比如词嵌入（Word Embedding）和预训练语言模型（Pre-trained Language Models）。 接下来想到的词嵌入模型，像Word2Vec、GloVe、FastText这些。不过这些都是英文环境下常用的，中文的话可能需要用中文语料训练的版本。比如腾讯的Chinese Word Vectors（中文词向量），或者用gensim库训练自己的Word2Vec模型。不过这些还是词级别的向量，没有考虑上下文。 然后预训练模型方面，BERT应该是一个重要的点。BERT及其变体，如RoBERTa、ALBERT，这些模型可以生成上下文相关的词向量。中文领域，Google有中文BERT模型，哈工大也发布了BERT-wwm等模型。此外，还有其他预训练模型如ERNIE（百度发布的，强调知识增强），可能更适合中文，因为它融入了实体信息，对中文的短语和实体理解更好。 另外，用户可能需要比较这些模型的优缺点。例如，传统的TF-IDF适合小规模数据，计算快，但无法捕捉语义；Word2Vec等词嵌入能捕捉语义，但静态；预训练模型效果最好，但计算资源消耗大，适合有GPU的环境。 还要考虑具体任务的需求。如果用户是做文本分类，可能用BERT的CLS向量；如果是序列标注，用每个token的向量。此外，轻量级模型如ALBERT或蒸馏后的模型（比如TinyBERT）在资源有限时可能更适合。 然后需要检查是否有相关的研究或应用案例支持这些模型的优势。比如引用中提到ERNIE在中文NLP任务中的表现优于BERT，可能是因为它引入了知识图谱。另外，哈工大的BERT-wwm在多项中文任务上效果显著，可能因为全词掩蔽更适合中文分词。 还要考虑领域适应性。如果用户的文本属于特定领域（如医疗、法律），可能需要用该领域数据继续预训练模型，或者使用领域特定的预训练模型，如MC-BERT（医学领域）。 最后，推荐几个模型，并说明适用场景，帮助用户根据自身情况选择。例如，资源充足时用ERNIE或BERT-wwm，需要轻量级则用ALBERT，快速部署可以考虑Sentence-BERT生成句向量。 另外，用户可能需要具体的实现方法，比如如何使用Hugging Face的Transformers库加载这些中文模型，或者使用百度PaddlePaddle的ERNIE工具包。这部分可能需要提供代码示例，但用户问题中没有明确要求代码，但根据示例中的Python代码，可能用户还是希望有实现参考，所以可以附上简单的代码片段，比如用transformers库加载中文BERT模型。 总结，需要分点列出模型，说明其特点、优缺点，适用场景，并给出建议。同时，根据引用中的内容，比如引用[1]提到成本函数，可能可以关联到模型训练时的损失函数，但相关性不大。引用[2]中的餐厅数据可能不相关，可以忽略。所以主要围绕中文向量化模型展开。</think>### 中文文本向量化模型选择指南 #### 1. **传统静态词向量模型** - **TF-IDF / 词袋模型 (BoW)** - **特点**: 基于词频统计，忽略词序和语义，适用于小规模数据或简单任务（如文本分类）[^1]。 - **示例**: 使用`sklearn`库实现： ```python from sklearn.feature_extraction.text import TfidfVectorizer corpus = ["中文句子1", "中文句子2"] vectorizer = TfidfVectorizer() X = vectorizer.fit_transform(corpus) ``` - **Word2Vec / FastText** - **特点**: 生成稠密词向量，支持语义相似度计算。需依赖中文分词工具（如`jieba`）。 - **预训练资源**: 腾讯AI Lab的[中文词向量](https://ai.tencent.com/ailab/nlp/zh/embedding.html)涵盖800万中文词汇。 #### 2. **上下文相关预训练模型** - **BERT系列** - **BERT-Base-Chinese**: Google发布的通用中文模型，支持动态上下文编码。 - **RoBERTa-wwm-ext**: 哈工大优化版，通过全词掩码（Whole Word Masking）提升分词效果[^2]。 - **代码示例**（使用Hugging Face）： ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained("bert-base-chinese") model = BertModel.from_pretrained("bert-base-chinese") inputs = tokenizer("中文文本", return_tensors="pt") outputs = model(**inputs) ``` - **ERNIE (百度)** - **特点**: 融入实体和短语知识，在问答、实体识别任务中表现优异。 - **适用场景**: 需理解中文特定表达（如成语、专有名词）的任务。 - **ALBERT** - **优势**: 参数共享技术减少内存占用，适合资源受限环境。 #### 3. **轻量化与领域适配** - **Sentence-BERT** - **用途**: 生成句向量，直接用于相似度计算。 - **示例**: ```python from sentence_transformers import SentenceTransformer model = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2") embeddings = model.encode(["中文句子"]) ``` - **领域定制**: - 医疗领域: **MC-BERT** - 法律领域: 基于中文裁判文书微调的BERT变体 #### 4. **性能与选择建议** | 模型类型 | 训练成本 | 语义捕捉能力 | 适用场景 | |----------------|----------|--------------|--------------------------| | TF-IDF | 低 | 弱 | 快速原型开发、简单分类 | | Word2Vec | 中 | 中等 | 语义搜索、词相似度计算 | | BERT/ERNIE | 高 | 强 | 问答系统、复杂语义理解 | | Sentence-BERT | 中 | 强 | 句向量匹配、聚类分析 | ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值