zxhohai的博客

初读GoogLeNet《Going Deeper with Convolutions》最近研一上，正在上《神经网络》这门课程，老师推荐我们去阅读关于GoogLeNet的文章，GoogLeNet是2014年ImageNet挑战赛(ILSVRC2014)的冠军，《Going Deeper with Convolutions》是GoogLeNet系列的第一篇(论文地址)，本人最近刚好阅读完这篇论文，在此记

一个良好的表示是内容充分高效表达的基础，作为沟通计算机与现实世界的桥梁，计算机行业人员每时每刻都在研究事物的表示。比如：编程语言，早期的机器语言和现在的高级程序语言可以看作是指令的两种不同表示方式，从可读性方面评价，两者的表达能力相差甚远。再比如：数据结构，其研究的正是数据在计算机中的高效表达与存储，如下图所示，我们可以采用链表和红黑树两种不同的数据结构对有序表进行存储。在对有序表进...

前三篇博客（一）、（二）、（三）总结了抽取式自动文摘的一些经典方法，传统抽取式自动文摘方法将文档简单地看作是一组文本单元（短语、句子等）的集合，忽略了文档所表达的全局语义，难免“断章取义”。随着算力的提升，深度学习在很多应用中非常的火热也取得了state-of-the-art的性能，因此，将神经网络模型引入自动文摘任务是理所当然的，将文档用神经网络模型进行表示被称为神经文档模型（neural do...

在对自然语言进行处理时，首先需要面对文本单元表示问题。单词（words）作为常考虑的最小文本单元，因而，如何将单词表示成恰当的词向量（word vector）成为了研究者们研究的重点。最简单直观的方法是one-hot representation，也称1-of-N representation，这种方式将每个单词表示成一个词汇表（vocabulary）大小的向量，其中绝大部分元素都是0，只有一个维...

在sequence-to-sequence学习中，输入和输出都是序列，通常采用Encoder-Decoder的框架进行处理。这种结构首先通过编码器（如CNN/RNN/LSTM等）将输入序列编码成一个固定长度的中间向量，然后将该向量作为解码器（如DNN/CNN/RNN/LSTM）的输入进行解码得到最终结果。以机器翻译为例，其Encoder-Decoder结构如下：上图中，Encoder和De...

我们在进行判断决策时，除了会依靠当前的情况，也会调动大脑中的记忆，协同分析。记忆分为长期记忆和短期记忆，短期记忆可以认为是对之前较短时间内发生事件的印象，这对于一些日常生活应用非常的有必要。比如以下两个句子中，“我将在9月10日到达南京”和“我将在9月10日离开南京”，两句话虽然都包含“南京”，但是第一句话中“南京”是目的地，第二句话中“南京”是出发地，做出这个判断的依据是“南京”之前的“到达”和...

最近在回看反向传播算法（Backpropagation，BP算法）时，注意到目前各大深度学习框架如Tensorflow，Theano，CNTK等都以计算图（Computational Graph）作为描述反向传播算法的基础。计算图计算图是用来描述计算的语言，是一种将计算形式化的方法。在计算图中，计算被表示成有向图，图中的每一个节点表示一个变量（variable），变量可以是标量（sca...

ResNet论文阅读—《Deep Residual Learning for Image Recognition》作者摘要\quad越深的神经网络训练越困难。我们提出了一个残差学习框架，减轻网络训练的负担，这个网络比目前的大多数网络深得多。我们明确地将每一层重新定义为参照层的输入学习残差函数，而不是学习一个未知的函数。我们提供了全方面的实验数据表明残差网络更加容易优化，并且

DenseNet—《Densely Connected Convolutional Networks》这学期数字图像处理课程要求在课堂做一次presentation，于是选择了CVPR2017最佳论文《Densely Connected Convolutional Networks》。这篇论文的第一作者是两位中国学生，黄高和刘壮，简直是佩服。论文中作者创新性的提出了一种新的卷积神经网络架构，并将源代

现在各种机器学习、深度学习第三方库都有非常成熟高效的神经网络实现，借助这些第三方库，短短几行代码就能实现一个神经网络。但是对于一个机器学习/深度学习的入门者来说，这些代码封装得太过彻底，往往一行代码就能实现BP算法或者梯度下降算法，这导致很多初学者即使掌握了繁复的数学推导后，依旧对神经网络的工作流程没有一个直观的认知。在我看来，自己动手实现一个神经网络，包括BP算法，梯度下降算法等，是将理论应用于...