dl4j 报错 加载词向量

本文介绍使用Deeplearning4j (DL4J)进行词向量模型训练、保存及加载的过程。重点讨论了不同训练方法产生的模型文件格式差异,并分享了解决加载错误的方法。同时,提供了使用DL4J训练中文词向量的具体配置参数。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Unable to guess input file format. Please use corresponding loader directly

【重点】

保存模型,WordVectorSerializer.writeFullModel(vec, filePath+".vec");

读取的时候,
WordVectors wordVectors =WordVectorSerializer.loadFullModel(WORD_VECTORS_PATH)

后来调试的时候发现,不同方法,训练之后的模型文件,格式不一样,所以需要仔细研究,并对齐格式。

如果嫌麻烦,用各自对应的读写方法好了~


记录日志:

使用了word2vec谷歌版训练的,二进制和txt格式都不行,都报错。


谷歌代码训练的词向量,dl4j总是加载不起来。用dl4j重新训练

再试试dl4j自己的训练词向量的代码。训练之后的模型文件保存在


Word2VecRawTextExample
使用中文的一元分词,即每个char空格分隔。
Word2Vec vec = new Word2Vec.Builder()
                .minWordFrequency(5)
                .iterations(1)
                .layerSize(100)
                .seed(42)
                .windowSize(5)
                .iterate(iter)
                .tokenizerFactory(t)
                .build();

保存模型,WordVectorSerializer.writeFullModel(vec, filePath+".vec");

试了一下nearest方法,效果不错。

锅:[煲, 篦, 炉, 焚, 灶, 淬, 烤, 燃, 煎, 烧]

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值