- 博客(2)
- 收藏
- 关注
RSS订阅转载 源码解读之Pre-train
pre-train是迁移学习的基础，虽然Google已经发布了各种预训练好的模型，而且因为资源消耗巨大，自己再预训练也不现实（在Google Cloud TPU v2 上训练BERT-Base要花费近500刀，耗时达到两周。在GPU上可想而知只会更贵），但是学习bert的预训练方法可以为我们弄懂整个bert的运行流程提供莫大的帮助。预训练涉及到的模块有点多，所以这也将会是一篇长文，在能简略的地方我...
2019-01-15 11:07:08
960
2
原创 跑keras模型涉及到的 keras降级
今天在服务器上跑一个HAN(Hierachical Attention network) 分类模型,使用的keras库,然后报错: TypeError: softmax() got an unexpected keyword argument 'axis'. 这种一般就是库版本的问题,升级了keras,tensorflow之后就可能有问题. 发现 tensorflow...
2018-06-26 17:14:21
4024
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人