hustqb的博客

Warm up是BERT中一项重要的trick，它是什么，它究竟能带给我们什么，以及如何实现。它是什么Warm up是一种学习率的设置方法，其学习率的变化如下图所示。假设我们使用随训练衰减的学习率设置方法，学习率的最大值是ppp。在模型训练的前nnn步进行warm up，第iii步的学习率为in⋅p\frac {i}{n} \cdot pni​⋅p它能带给我们什么有时候，在我们...

声明参考A simple Guide to the Versions of the Inception Network，同时有一定的原创性。现在网上有很多有关Inception的文章，但是都不如这篇英文文章介绍得好。本文希望读者提前对神经网络、CNN有所了解。Inception网络是卷积神经网络发展史上重要的里程碑，在Inception提出之前，卷积神经网络的发展仅仅是在不断的堆叠、加...

摘要  本文训练了一个深度卷积神经网络进行ImageNet LSVRC-2010图片分类比赛(1000各类别，共120万高质量标注的图片)，在top1测试场景下错误率37.5%，在top-5测试场景下错误率17.0%，远小于之前最好的结果。  网络的大体结构：6000万个参数、65万个神经节点、5个卷积层、几个最大值池化层(max-pooling layers)、3个全连接层、最后还有一个10...

声明：译自A Beginner’s Guide to Restricted Boltzmann Machines (RBMs)Definition & Structure玻尔兹曼机(RBM)由深度学习先驱Geoffrey Hinton提出，可用于降维、分类、回归、协同过滤、特征提取和主题建模(topic modeling)。RBM是一个浅层网络，包括输入层(input layer/v...

Matching Networks for One Shot LearningAbstract研究领域： One Shot Learning（小样本学习）从少量样本中快速学习，是传统监督学习和Deep Learning无法解决的问题，该研究领域被称为小样本学习。创新：以下两种方法结合：metric learning目前，小样本学习的主流方法external memories以前小样本...

声明：论文链接Sampling Matters in Deep Embdding LearningSampling Matters in Deep Embdding Learning  这是基于one-shot learning中的metric learning范畴做的研究。metric learning通过将样本对映射到嵌入空间，在嵌入空间中比较样本之间的相似性来进行分类。主要创新点...

极力推荐想学习神经网络的朋友一本书——Make Your Own Neural Network。这本书显示图文并茂的讲述了神经网络的工作原理，然后又一步一步的用Python搭建了一个简单的双层神经网络，最后还给了一个神经网络应用的例子。我也是神经网络的初学者，怀着对作者的敬意，我简单的翻译了这本书的部分内容。   本博客作为翻译系列的开篇之作，只是介绍了一下该书的行文结构。也就是说，这里我会按照原

这篇博客接上一篇博客Make Your Own Neural Network简介。本文也是出自Make your own Neural NetWork这本书。上一篇博客讲了该书的行文结构，本文主要介绍如何构建自己的神经网络并附代码。

这篇博客接上一篇博客Make Your Own Neural Network之代码详解上。本文也是出自Make your own Neural NetWork这本书。上一篇博客讲了神经网络类的功能模块，本文主要介绍如何对这个神经网络类进行训练和测试。

这篇博客接上一篇博客Make Your Own Neural Network之代码详解中。本文也是出自Make your own Neural NetWork这本书。上一篇博客讲了如何对这个神经网络类进行训练和测试，本文将介绍对神经网络做一些改进并测试效果

声明：适用于对深度学习有一定了解，并想进一步了解RNN以及LSTM的朋友。本文包括原理和应用，特别长，可以先收藏再慢慢看。框架：TensorFlowRNN的发展、意义什么的都不讲了，全是硬知识。参考文献： Understanding LSTM NetworksTensorFlow官方文档《安娜卡列尼娜》文本生成——利用TensorFlow构建LSTM模型The Unreaso...

声明：翻译自Image Segmentation using deconvolution layer in Tensorflow使用反向卷积进行图片分割反向卷积(deconvolution)不止应用于图片分割领域，在各种输入维度小于输出维度的领域都有应用。1. 什么是图片分割 图片分割是将一个图片划分成不同的区域，进而帮助我们理解图片内容。现在，CNN是目前最高效...