268G+训练好的word2vec模型(中文词向量)

分享一个使用268G以上语料训练的Word2Vec模型,包括百度百科、搜狐新闻及大量小说数据。模型参数设置为窗口大小5,最小词频10,向量维度128,采用层次softmax,迭代次数5次。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

268G+训练好的word2vec模型(

  从网上了解到,很多人缺少大语料训练的word2vec模型,在此分享下使用268G+语料训练好的word2vec模型。

训练语料

image.png

模型参数

  • window=5
  • min_count=10
  • size=128
  • hs=1
  • negative=0
  • iter=5
  • ps:其它参数见gensim库,执行代码为:gensim.models.Word2Vec(sentence, window=5, min_count=10, size=128, workers=4,hs=1, negative=0, iter=5)

其它相关

  1. 分词词典使用了130w+词典。分词代码:jieba.lcut(sentence),默认使用了HMM识别新词;
  2. 剔除了所有非中文字符;
  3. 最终得到的词典大小为6115353;
  4. 模型格式有两种bin和model,使用方式:
    a. bin模式:model = gensim.models.KeyedVectors.load_word2vec_format(model_path, binary=True)
    b. model模式:model = gensim.models.Word2Vec.load(model_path)
  5. 文件压缩后大小与未压缩相近,因此未压缩。

下载链接
链接:https://pan.baidu.com/s/1ckkH_eT-WS4SN73Iq9Q_5A 密码:9aza

中文词向量)
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值