一个nlp探险者的博客

0. 引言1. 文本领域的数据预处理技术1.1 文本纠错1.2 低频词处理1.3 停用词1.4 关键词提取1.5 短语提取1.6 文本数据增强2. 深度学习训练技巧2.1 学习率调整2.2 梯度修正2.3 参数初始化2.4 归一化3 . 深度学习Debug...

引言如何使用TensorboardTensorboard添加scalarTensorboard添加graphTensorboard的一些坑

引言神经网络的调参十分重要，很多人都说深度学习是一个黑箱模型，有人戏称深度学习为“炼丹”。但是深度学习归根结底是一个数学优化的过程，超参数对于模型的效果影响很大。网上文章也有很多，比如梯度爆炸应该怎么办，学习率怎么调整，选什么样的优化器等等。下面我就说一下自己的一些心得以及借鉴的别人的一些想法。学习率的调整为了训练神经网络，其中一个需要设置的关键超参数是学习率。提醒一下，为了最小化此网络的损失函数，这个参数缩放了权重更新的幅度。如果你把学习率设置太低，训练会进展的很慢：因为你在网络的权重上只做了很少的

引言当我们开始着手一个工程或者一个项目时，总是很着急的想去开始写代码，但是我们做工程需要有一个良好的习惯，这样不仅写代码顺利，心情也会跟着变得好起来。所以我们应该养成一个良好的写代码的习惯，下面说一下通过我自己的经历和查阅资料所得到的经验。1. 形成良好的工程化习惯1.1自己要习惯生成一个参数配置文件我一开始也是将所有的超参数还有网络的设计配置，激活函数的选择等等。我们可以单独弄一个文件config.py,这样我们每次更改超参数只是需要更改设置文件就可以了，不需要进入工程里繁琐的修改，这是我的一个c

引言不知道小伙伴使用pytorch时是否遇到了下面的情况：我们加载训练好的参数，然后输入经过网络，但是不经过梯度下降训练，也就是说模型的参数没有更改，这是我们仍然会发现我们输出的指标（例如准确率）下降。现象最近跑的一个程序，加载好预训练模型checkpoint = load_checkpoint(args.resume)model.load_state_dict(checkpoint['...

引言占个坑，明天更