叫我PT-优快云博客

原创【小白做科研( 九 )】炼丹小记

文章目录前言关于logginglogging performancelogging information关于embedding关于one_hot关于加载模型关于多进程关于MIND关于TiKZ关于调参关于结构写在最后前言最近一直在调模型, 这篇主要想说说相关的内容以及一些坑。关于logging我认为, 要好好地调模型参数, 最重要的一点是代码里一定要把各种logging都写好, 尤其是超参数的设定。因为用的是ubuntu的screen命令在后台跑, 而screen自带的logging是会把tqdm的

2021-03-26 23:42:01 630

原创命名实体识别从零到一

文章目录前言关于[我的NER](https://github.com/namespace-Pt/NER)关于经验和问题的分享一些经验一些问题写在最后前言之前其实写过一篇关于命名实体识别的博客, 但是当时对于深度学习等各种内容的掌握还相当肤浅, 代码也只是对官方例子的粗略改进, 并且参照了很多网上的代码, 少了灵魂, 最后工程上用的还是别人的库, 但不得不说太垃圾了, 速度很慢而且不好使。上一学期我算是系统地接触学习了这个领域, 因此趁着寒假末尾打算将之前的 NER(Named Entity Recog

2021-03-07 22:10:31 479 1

原创【小白做科研( 八 )】关于Experiment

文章目录前言关于PytorchMask一些学习笔记关于画图关于脚本关于可视化理解可视化的参数最后前言之前在忙考试周, 这个项目就搁置了一段时间, 最近考完试重新捡起来, 继续学习! 目前我们已经做完了数据处理, 复现了多篇论文的代码, 实验结果都和原论文一致, 接下来可以试一试提出自己的Idea并且做出一些实验啦~做实验时有各种收获, 也学了几个新东西, 这一篇就打算分享一下关于PytorchMask之前经常听到Mask这个词, 看了bert论文后知道原来是“遮住”一些词。那么除了作为预测任务外

2021-01-21 15:24:48 873 1

原创【小白做科研( 七 )】“工欲善其事, 必先利其器” ( 下 )

文章目录前言同步本地文件夹和服务器端文件夹模型表现NPA([[23] Npa Neural news recommendation with personalized attention](https://dl.acm.org/doi/abs/10.1145/3292500.3330665))FIM([[29] Fine-grained Interest Matching for Neural News Recommendation](https://www.aclweb.org/anthology/202

2020-12-05 17:17:37 775 1

原创【小白做科研 ( 六 )】“工欲善其事, 必先利其器”( 上 )

前言上一篇算是把复现论文讲完了, 但是还是有几个遗留问题:可视化训练loss模型表现这一篇解决一下上两个问题, 然后分享一些我写代码工具VSCode的一些很好用的功能~可视化训练loss这里采用tensorboard进行可视化, pytorch配合tensorboard的官网教程看这里, 如果只是针对loss, 那么程序里注册了SummaryWriter后直接简单的writer.add_scalar('name', value, step)就可以, 我每隔10个step(batch) 更新一

2020-11-24 12:11:14 637

原创【小白做科研（五）】复现代码（下）

前言上次说到了复现模型，欠着训练和评测都没讲，这周把训练评测都搞定了，然后又复现了一篇新的，有一个感触就是深度学习这些模型看着感觉怪吓人，但是代码逻辑都不复杂，甚至还没有算法导论难hhh，而且自己写一写这些代码，真的感觉入了门，以及pytorch forum竟然给我发了邮件说把我提升了用户评级（因为我经常看他们博客）hh~这一篇也主要分享一些看到的好的博客，以及遇到的各种困难，还有解决的过程。数据处理之前搬了微软在TensorFlow平台实现的手写iterator到Pytorch上，心里其实一直有

2020-11-15 00:12:36 2821 2

原创【小白做科研（四）】复现代码（上）

写在前面其实之前虽然我自己也瞎整了一些深度学习的代码（验证码识别、实体识别），也都发了博客，但无一例外都是参考现有的代码进行阅读理解演算，然后自己删删改改完成的，我只知道在某一步用某个函数完成了某个功能，但是我一直没有搞明白为什么要在这一步完成这个功能，对其中的机理只能不求甚解；这样就像我先看答案再做题，尽管看完做完后，我这道题会了，但是遇到新的问题时，我就会倾向于先去看答案，而不是自己思考；如果找不到答案并且在从头学起的时候遇到困难，就会畏缩和放弃。这种状态必须改变，从何改起？答案就是自己从零开始。

2020-11-07 15:50:01 9904 5

原创【小白做科研（三）】数据处理

读了很多论文，咱们自己心里也对整体的进展有了一些了解和脉络，那么下一步就可以试着复现啦~而要复现人家的代码，那肯定得找人家的数据集，数据到手后就可以开始处理了~ 这篇主要粘一些看到的比较好的博客平台我自己就是觉得pytorch比tensorflow帅hhhh，而且很多师兄大佬也说pytorch比较好，那就可以先从官网教程开始了解~需要指明一点，大家安装pytorch后其实不需要装cuda也可以用gpu（因为torch里附带了一些cuda的驱动），但是好像是功能受限，如果想要完整版应该还是得老老实实

2020-11-01 20:53:00 1651 6

原创【小白做科研（二）】理解论文

上一篇讲到了论文的命名方法，阅读框架等，这一篇主要说一下怎样让自己更能读懂、理解论文；1. 明确动机，前后呼应要明确每一篇论文的写作动机，动机里的各个细节都对应了模型的哪些创新之处。2. Experiment也有其重要性有的时候赶着看论文，就不看experiment，但其实好多时候前面说的一些方法，我们只是看上去懂了，其实还是没懂；很多输入的初始化、整个模型的基础构建都是在experiment中进行阐述的，因此还是得注意一下。3. 模型图其实有的论文感觉看一眼模型图好像就懂了大概，有的论文看了模

2020-10-25 20:44:17 691 5

原创关于attention的简单理解

理解attention两个角度，首先，令f:Rd∗d→Rf: \mathbb{R}^{d*d} \rightarrow \mathbb{R}f:Rd∗d→R 或者 f:Rd→Rf: \mathbb{R}^{d} \rightarrow \mathbb{R}f:Rd→R，fff可以是perceptron，可以是点积、cos相似度等（两个自变量时），vi∈Vv_i \in \mathcal{V}vi∈V代表item的向量表达直接把自己映射成权重，αvi=softmax(f(vi))\alpha_{v_

2020-10-17 15:04:46 504

原创打算把算法导论课作业等相关代码上传一手

移步github~，会一直更新（因为还在上课。。。）

2020-10-15 19:32:40 193

原创根据现有的了解对【新闻推荐】领域做了一个不完全的综述，会一直更新，还有很多不准确的地方因为自己理解也不够深入，希望大佬指正

移步github

2020-10-06 21:53:56 383

原创【小白做科研（一）】论文的命名、组织和论文内容梳理

本小白最近在看论文，只看不理解肯定是不行的，但我在如何记录自己的理解收获时有点小纠结：我是用ipad手写？还是用markdown打字？如果使用markdown，那我要给每一篇论文新开一个markdwon还是在一个文件中记录总结所有的想法？现在我找到了一个比较舒服的方式，给大家安利一手：怎么给组织下载下来的论文？建议每一篇下载的文献，用其发表年份+论文题目命名，比如2018-News session based recommendation susing deep neural networks，而每

2020-10-04 15:02:15 2536

原创关于动态规划算法的简单理解

这次国赛选了B题，虽然拉了但是在做的过程中有一些小理解，想在这里分享出来。对于求解最优序列的问题，序列中的每一个位置的点有自己的状态，最优序列即为求得最优的状态序列，这涉及三部分内容：定义状态定义状态的分数定义状态转移定义状态：把一个点的状态抽象为一个k维向量(x1,x2,...,xk)(x_1,x_2,...,x_k)(x1,x2,...,xk)，该向量的每一维度都代表该状态的不同维度，这些维度的取值合在一起构成了这个内容的状态；需要注意的是，任何一个状态都有其最基础的一个

2020-09-15 13:14:16 1032

原创 BiLSTM+CRF基于pytorch实现命名实体识别，对pytorch官网给出的例子实现优化，附学习思路和源代码

学习思路BiLSTM + CRF本文建立在读者已有一定深度学习知识的基础上，可以看看pytorch实现验证码图片识别，基本的反向传播思想，以及机器学习的相关概念（损失函数、随机梯度下降、训练集测试集等等）。LSTM看这一篇就够了。接下来给出我学习CRF的思路看这篇的Section1,2,3，了解基本的朴素贝叶斯和最大熵模型，我个人觉得这篇CRF的部分讲得不清楚看这篇全部，了解CRF的特征向量、CRF建模的对象、对数极大似然函数以及CRF的损失函数、以及viterbi解码（decode）和迭代

2020-08-13 01:31:04 1761 5

转载反向传播算法讲解（英），摘自word2vec Parameter Learning Explained

原文在word2vec Parameter Learning Explained

2020-07-31 23:29:47 387

原创 vscode的几项基本配置

文章目录vscode简介什么是vscodevscode的配置文件结构settings.jsontasks.jsonlaunch.json配置实例settings.json全局配置对python对c,c++对latexvscode简介什么是vscode简单来说,vscode是一款文本编辑器,而不是ide。这就是说,vscode只提供编辑的环境而不提供编译的环境,如果想要用vscode来集成开发...

2020-05-05 17:32:56 3108 5

原创 pytorch入门攻略及项目实战之卷积神经网络进行验证码识别

文章目录一.前言二.知识储备（基于个人理解）三.爬取数据四.数据处理五.定义、训练、测试神经网络六.可视化处理与后续应用一.前言疫情仍然严重，写完上一篇博客后我也从零开始学习神经网络，真实绕了很多弯路啊。。这网上资料多归多，有用的属实难找，再加上之前忙美赛，转眼就隔了两周才有进展，这里非常想把自己从一个什么都不懂的小白一步步成长到可以自己定义、训练神经网络的大白之路分享给所有想要入...

2020-02-25 14:58:26 2558 13

原创 windows10安装pytorch，感觉自己基本踩了所有坑，这里提供最有效的两种方法

文章目录1.前言2.我认为有必要搞清的3.安装anaconda、添加镜像源和创建pytorch环境4.利用conda安装5.利用pip安装1.前言接上篇，如今疫情依然严重，我本来想写一个自动查询成绩的爬虫，最开始想利用cookie实现免密码验证码直接登陆微人大查询，但是不知为什么一直失败，后采用selenium直接登陆，但这时候就面临机器识别验证码的问题，用tesserocr发现成功...

2020-02-09 17:26:24 13198 17

原创自学python网络爬虫，从小白快速成长，分别实现静态网页爬取，下载meiztu中图片；动态网页爬取，下载burberry官网所有当季新品图片。

文章目录1.前言2.知识储备3.爬取静态网站4.爬取动态网站1.前言近日疫情严重，手机已经玩吐了，闲着无聊逛衣服品牌官网发现，结果一时兴起，想学一学python，写一个爬虫下载官网所有最新上架的衣服图片和价格；说干就干，但身为一个只学过一些c和c++的python 0基础大二小白，csdn上的各种教程里涉及的各种发法、工具和库让我眼花缭乱；因此走了很多弯路，终于花三天时间完成了爬虫的设...

2020-02-01 16:14:10 15584 26