
深度学习
文章平均质量分 67
囚生CY
不如养生
展开
-
【论文实现】以SVD的分解形式进行深度神经网络的训练(PyTorch)
年轻人少熬夜原创 2021-05-30 01:51:08 · 14013 阅读 · 7 评论 -
【问题解决】BERT模型使用及一个问题:NotFoundError: Key bert_1/embeddings/LayerNorm/beta not found in checkpoint
关于BERT模型的调用,这几天基本上是摸得比较清楚了。模型源码在https://github.com/google-research/bert,截至本文发布,该项目的Readme.md文件中提供了如下图所示的9个模型的下载链接。前两个是区分大小写的英文模型,第三个是中文模型,4589没有用过具体不太清楚,六七是不区分大小写的英文模型(根据Readme.md中的描述,如果对大小写不是很敏感的话用...原创 2020-01-15 11:44:39 · 17859 阅读 · 3 评论 -
【学习笔记】1707.07435基于深度学习的推荐系统:调查与新视角(中文提纲)
最近在看论文,看到一篇关于推荐系统方面不错的一篇入门综述,优快云博客上也有几个人做了译文,大都只翻译了很少的一部分。笔者虽然没有进行翻译,但是在阅读的过程中对全文做了提纲以及进行要点记录,各位朋友觉得可以也可以参考一二,但是就一些好论文还是自己一个字一个字去看比较好。附官网下载链接 https://arxiv.org/pdf/1707.07435由于是在Notepad++中编辑,这边就直...翻译 2019-04-17 19:12:51 · 11211 阅读 · 1 评论 -
【日常】手写三层反向传播神经网络(损失函数交叉熵+正则项+反向求导)
课程的一次作业,虽然没什么用,但是手写一遍dense确实能加深对神经网络的理解,尤其是反向传播求导这一块。资源已经上传,不过最近优快云犯病不能改资源积分了。留个BDY链接了原创 2019-04-29 08:38:08 · 11913 阅读 · 1 评论 -
【日常】手写卷积神经网络(conv+relu+maxpooling+linear+relu+linear+softmax+交叉熵损失+正则)
第二次课程作业,手写CNN进行手写数字识别。据说还要手写一次RNN(这酸爽还有谁)。作业坑点在于Assignment给定的这个架构与默认参数效果非常差,结果怎么调都调不好,一开始一直是以为写错了,但是检查了很久都发现不了哪里写错了。后来用keras实现了同样的架构,发现确实效果差得惊人(跟瞎猜没有区别),然后随便改了改(加一个卷积层或者加一个dense层,甚至只要修改一下优化函数,SGD的效果...原创 2019-05-13 08:57:09 · 13655 阅读 · 3 评论 -
【项目总结】ACM Recsys2019
深度学习课程项目完结,挑了个吃力不讨好的ACM Recsys2019,需要做一个基于序列分析的推荐系统。数据集给了一个线上操作序列的数据,需要预测最后一次操作的对象是哪个item,具体情况可以访问比赛主页ACM RecSys challenge 2019 | Home 。评价指标是MRR,要求对最后一次操作的25个items进行排序,榜单前20已经做到0.66以上,几乎是精确的预测到了下一次的it...原创 2019-06-25 14:36:42 · 12796 阅读 · 1 评论