- 博客(3)
- 收藏
- 关注
RSS订阅原创 BERT中，为什么已经有85%不被mask的单词，还需要在15%进行“mask策略”的单词中选取10%保持原词不变？
BERT中，为什么已经有85%不被mask的单词，还需要在15%进行“mask策略”的单词中选取10%保持原词不变？问题描述：问题背景：BERT的输入数据“mask策略”的修改原因分析：问题描述：为什么已经有85%不进行“mask策略”修改的token，还需要在15%进行“mask策略”的token中选取10%保持原词不变？问题背景：BERT预训练模型在训练阶段采用MLM任务，会给数据引入[mask]这种标记。但是在下游任务的数据中是没有这种标记的。因此BERT作者设计了“mask策略”的数据修改方
2021-10-18 10:58:09
3245
转载 Linux无root权限安装anaconda
1、下载对应版本的Anaconda （wget+路径）下载地址：https://repo.anaconda.com/archive/或者清华镜像：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/2、安装anaconda：bash Anaconda3-5.0.1-Linux-x86_64.sh3、按enter浏览完协议以后，输入y...
2020-04-07 16:49:42
1053
1
原创 Ubuntu简单安装cmake
Ubuntu简单安装cmake如果你对cmake版本没有具体要求的话，仅仅需要使用命令sudo apt install cmake等待即可（时间稍长）。我的Linux是Ubuntu16.04.2 ，使用这个命令安装上的cmake版本是3.5.1安装完后不需要其他的任何配置就能直接开始使用...
2020-02-10 11:15:33
150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人