namespace_Pt的博客

文章目录前言关于logginglogging performancelogging information关于embedding关于one_hot关于加载模型关于多进程关于MIND关于TiKZ关于调参关于结构写在最后前言最近一直在调模型, 这篇主要想说说相关的内容以及一些坑。关于logging我认为, 要好好地调模型参数, 最重要的一点是代码里一定要把各种logging都写好, 尤其是超参数的设定。因为用的是ubuntu的screen命令在后台跑, 而screen自带的logging是会把tqdm的

文章目录前言关于[我的NER](https://github.com/namespace-Pt/NER)关于经验和问题的分享一些经验一些问题写在最后前言之前其实写过一篇关于命名实体识别的博客, 但是当时对于深度学习等各种内容的掌握还相当肤浅, 代码也只是对官方例子的粗略改进, 并且参照了很多网上的代码, 少了灵魂, 最后工程上用的还是别人的库, 但不得不说太垃圾了, 速度很慢而且不好使。上一学期我算是系统地接触学习了这个领域, 因此趁着寒假末尾打算将之前的 NER(Named Entity Recog

文章目录前言关于PytorchMask一些学习笔记关于画图关于脚本关于可视化理解可视化的参数最后前言之前在忙考试周, 这个项目就搁置了一段时间, 最近考完试重新捡起来, 继续学习! 目前我们已经做完了数据处理, 复现了多篇论文的代码, 实验结果都和原论文一致, 接下来可以试一试提出自己的Idea并且做出一些实验啦~做实验时有各种收获, 也学了几个新东西, 这一篇就打算分享一下关于PytorchMask之前经常听到Mask这个词, 看了bert论文后知道原来是“遮住”一些词。那么除了作为预测任务外

文章目录前言同步本地文件夹和服务器端文件夹模型表现NPA([[23] Npa Neural news recommendation with personalized attention](https://dl.acm.org/doi/abs/10.1145/3292500.3330665))FIM([[29] Fine-grained Interest Matching for Neural News Recommendation](https://www.aclweb.org/anthology/202

前言上一篇算是把复现论文讲完了, 但是还是有几个遗留问题:可视化训练loss模型表现这一篇解决一下上两个问题, 然后分享一些我写代码工具VSCode的一些很好用的功能~可视化训练loss这里采用tensorboard进行可视化, pytorch配合tensorboard的官网教程看这里, 如果只是针对loss, 那么程序里注册了SummaryWriter后直接简单的writer.add_scalar('name', value, step)就可以, 我每隔10个step(batch) 更新一

前言上次说到了复现模型，欠着训练和评测都没讲，这周把训练评测都搞定了，然后又复现了一篇新的，有一个感触就是深度学习这些模型看着感觉怪吓人，但是代码逻辑都不复杂，甚至还没有算法导论难hhh，而且自己写一写这些代码，真的感觉入了门，以及pytorch forum竟然给我发了邮件说把我提升了用户评级（因为我经常看他们博客）hh~这一篇也主要分享一些看到的好的博客，以及遇到的各种困难， 还有解决的过程。数据处理之前搬了微软在TensorFlow平台实现的手写iterator到Pytorch上，心里其实一直有

写在前面其实之前虽然我自己也瞎整了一些深度学习的代码（验证码识别、实体识别），也都发了博客，但无一例外都是参考现有的代码进行阅读理解演算，然后自己删删改改完成的，我只知道在某一步用某个函数完成了某个功能，但是我一直没有搞明白为什么要在这一步完成这个功能，对其中的机理只能不求甚解；这样就像我先看答案再做题，尽管看完做完后，我这道题会了，但是遇到新的问题时，我就会倾向于先去看答案，而不是自己思考；如果找不到答案并且在从头学起的时候遇到困难，就会畏缩和放弃。这种状态必须改变，从何改起？答案就是自己从零开始。

读了很多论文，咱们自己心里也对整体的进展有了一些了解和脉络，那么下一步就可以试着复现啦~而要复现人家的代码，那肯定得找人家的数据集，数据到手后就可以开始处理了~ 这篇主要粘一些看到的比较好的博客平台我自己就是觉得pytorch比tensorflow帅hhhh，而且很多师兄大佬也说pytorch比较好，那就可以先从官网教程开始了解~需要指明一点，大家安装pytorch后其实不需要装cuda也可以用gpu（因为torch里附带了一些cuda的驱动），但是好像是功能受限，如果想要完整版应该还是得老老实实

上一篇讲到了论文的命名方法，阅读框架等，这一篇主要说一下怎样让自己更能读懂、理解论文；1. 明确动机，前后呼应要明确每一篇论文的写作动机，动机里的各个细节都对应了模型的哪些创新之处。2. Experiment也有其重要性有的时候赶着看论文，就不看experiment，但其实好多时候前面说的一些方法，我们只是看上去懂了，其实还是没懂；很多输入的初始化、整个模型的基础构建都是在experiment中进行阐述的，因此还是得注意一下。3. 模型图其实有的论文感觉看一眼模型图好像就懂了大概，有的论文看了模

理解attention两个角度，首先，令f:Rd∗d→Rf: \mathbb{R}^{d*d} \rightarrow \mathbb{R}f:Rd∗d→R 或者 f:Rd→Rf: \mathbb{R}^{d} \rightarrow \mathbb{R}f:Rd→R，fff可以是perceptron，可以是点积、cos相似度等（两个自变量时），vi∈Vv_i \in \mathcal{V}vi​∈V代表item的向量表达直接把自己映射成权重，αvi=softmax(f(vi))\alpha_{v_

移步github

本小白最近在看论文，只看不理解肯定是不行的，但我在如何记录自己的理解收获时有点小纠结：我是用ipad手写？还是用markdown打字？如果使用markdown，那我要给每一篇论文新开一个markdwon还是在一个文件中记录总结所有的想法？现在我找到了一个比较舒服的方式，给大家安利一手：怎么给组织下载下来的论文？建议每一篇下载的文献，用其发表年份+论文题目命名，比如2018-News session based recommendation susing deep neural networks，而每