Deep Structured Semantic Models (DSSM) 训练、测试、部署指北

最新推荐文章于 2024-04-14 09:41:58 发布

訢詡

最新推荐文章于 2024-04-14 09:41:58 发布

阅读量733

点赞数

分类专栏：深度学习NLP方向文章标签： DSSM 自然语言处理 NLP 语义相似度

本文链接：https://blog.youkuaiyun.com/Andrwin/article/details/116061265

版权

本文档提供Deep Structured Semantic Models (DSSM)的训练、测试和部署流程。项目源代码链接和BERT权重已给出，训练环境中需按指定方式安装依赖。训练时使用的是默认的LCQMC数据集，需修改配置文件中的BERT权重路径。测试阶段，直接使用LCQMC验证集，删除多余列，模型表现良好。部署时参照相关教程，但多进程运行可能出现问题，建议单线程运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、项目地址

代码：https://github.com/InsaneLife/dssm

权重：https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

二、环境

项目里面的requirements太坑了

Package             Version
------------------- -------------------
absl-py             0.12.0
appdirs             1.4.4
astor               0.8.1
Babel               2.9.0
bce-python-sdk      0.8.59
cached-property     1.5.2
certifi             2020.12.5
cfgv                3.2.0
chardet             4.0.0
click               7.1.2
cma                 3.0.3
colorama            0.4.4
colorlog            5.0.1
contextlib2         0.6.0.post1
coverage            5.5
cycler              0.10.0
Cython              0.29.23
dataclasses         0.8
decorator           4.4.2
distlib