预训练完成的 公开的 经典 词向量 模型【GloVe、fastText、ELMo、BERT】

本文汇总了GlobalVectors(GloVe)、fastText、EmbeddingfromLanguageModels(ElMo)及BidirectionalEncoderRepresentationsfromTransformers(BERT)四种公开语言模型的预训练版本下载地址。介绍了各模型的特点及单词覆盖范围,适合自然语言处理领域的研究者和开发者参考。

      根据徐老师最新讲解论文使用的四种公开语言模型 ,经过本人上网查找,现将各预训练好的模型下载地址整合如下:

Global Vectors(GloVe):2014年, 1*300dim     glove.840B.300d.txt:2196017个单词 

fastText:crawl-300d-2M-subword.vec:2000000个单词

fastText:2018年,  1*300dim

Embedding from Language Models(ElMo):2018年, 3*1024 

Bidirectional Encoder Representations from Transformers(BERT):2018年, 24*768

链接1:https://www.infoq.cn/article/1fu*vYWCD8PlIartPZYV

链接2:https://www.jianshu.com/p/5c715577a3f5

链接3(如何使用):https://www.cnblogs.com/jiangxinyang/p/10241243.html

https://blog.youkuaiyun.com/leyounger/article/details/79343404

### 适合处理感性词汇的预训练词向量模型 在情感分析任务中,选择适合处理感性词汇的预训练词向量模型至关重要。以下是一些推荐的模型及其特点: #### 1. **FastText** FastText 是一种扩展版的词向量模型,它不仅考虑整个单词的信息,还关注子词(sub-word)单元。这一特性使其特别适用于处理罕见词或拼写错误的词语,同时也增强了对带有强烈情感色彩的短语的理解能力[^3]。例如,在情感分析场景下,“heartbroken” 这样的复合情绪词汇可以通过其内部结构分解为更基础的情感单位加以有效表征。 #### 2. **GloVe (Global Vectors for Word Representation)** 相比其他方法,GloVe 更注重全局统计信息的应用,这使得它在捕捉长期共现关系方面表现出色。对于一些隐晦却富含深意的情绪表达方式而言,比如讽刺语气中的双关含义等复杂情况,GloVe 的优势尤为明显[^1]。不过需要注意的是,由于缺乏上下文敏感度,单独依靠 GloVe 可能无法完全满足高度动态变化环境下的需求。 ```python import gensim.downloader as api # 下载并加载glove-wiki-gigaword-100模型 model = api.load("glove-wiki-gigaword-100") # 查找最接近'happy'这个词的相关词汇 similar_words = model.most_similar('happy') print(similar_words) ``` #### 3. **BERT-based Models** 尽管严格意义上不属于传统意义上的静态词向量范畴,但是基于 Transformer 架构设计而成的大规模语言模型BERT,则因其强大的上下文感知功能而成为当前最先进的解决方案之一。特别是在涉及多义词辨析或是跨句间连贯性推断等问题时,这类模型往往展现出无可比拟的优势[^2]。此外,还有专门为特定领域定制版本存在,例如 RoBERTa、DistilBERT 等变种形式可供选用。 #### 4. **ELMo (Embeddings from Language Models)** 不同于以往固定不变的形式,ELMo 提供了一套可以根据具体任务灵活调整输出表示的方法论体系。这意味着即使同一个单词,在不同场合下也可能呈现出截然不同的面貌特征集合出来。这对于那些意义随情境转换频繁波动的感觉类术语尤其适用[^4]。 --- ###
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值