Nicholas_PFD的博客

原创 零基础-动手学深度学习-8.2. 文本预处理

对于序列数据处理问题，我们在中 评估了所需的统计工具和预测时面临的挑战。这样的数据存在许多种形式，文本是最常见例子之一。例如，一篇文章可以被简单地看作一串单词序列，甚至是一串字符序列。本节中，我们将解析文本的常见预处理步骤。这些步骤通常包括：将文本作为字符串加载到内存中。将字符串拆分为词元（如单词和字符）。建立一个词表，将拆分的词元映射到数字索引。将文本转换为数字索引序列，方便模型操作。

原创 零基础-动手学深度学习-8.1 序列模型

随着时间推移，人们对一件事的看法会发生很大的变化，心理学家对这些现象取了名字：锚定（anchoring）效应：基于其他人的意见做出评价。享乐适应（hedonic adaption）：人们迅速接受并且适应一种更好或者更坏的情况作为新的常态。例如，在看了很多好电影之后，人们会强烈期望下部电影会更好。因此，在许多精彩的电影被看过之后，即使是一部普通的也可能被认为是糟糕的。季节性（seasonality）：少有观众喜欢在八月看圣诞老人的电影。有时，电影会由于导演或演员在制作中的不当行为变得不受欢迎。

原创 零基础-动手学深度学习-8. 循环神经网络（预告）

最重要的是，到目前为止我们默认数据都来自于某种分布， 并且所有样本都是独立同分布的 （independently and identically distributed，i.i.d.）。例如，文章中的单词是按顺序写的，如果顺序被随机地重排，就很难理解文章原始的意思。例如，一个任务可以是继续预测2，4，6，8，10，。同理，我们需要能够处理这些数据的特定模型。换句话说，如果我们拥有一张图像，我们需要有效地利用其像素位置， 假若我们对图像中的像素位置进行重排，就会对图像中内容的推断造成极大的困难。

原创 零基础-动手学深度学习-7.7 稠密连接网络（DenseNet）

ResNet极大地改变了如何参数化深层网络中函数的观点。稠密连接网络（DenseNet）在某种程度上是ResNet的逻辑扩展。让我们先从数学上了解一下。

原创 7.6题外话 Resnet为什么能训练到1000层？（从梯度来看）

原创 零基础-动手学深度学习-7.6. 残差网络（ResNet）

如果卷积神经网络只要你学一种，就学resnet就行了。随着我们设计越来越深的网络，。更重要的是设计网络的能力，在这种网络中，添加层会使网络更具表现力， 为了取得质的突破，我们需要一些数学基础知识。

原创 零基础-动手学深度学习-7.5. 批量规范化

训练深层神经网络是十分困难的，特别是在较短的时间内使他们收敛更加棘手。本章介绍的batch normalization是可以持续加速深层网络收敛速度的技术，结合后面介绍的残差块可以使得我们能够训练100层以上的网络。

原创 零基础-动手学深度学习-7.4. 含并行连结的网络（GoogLeNet）

在2014年的ImageNet图像识别挑战赛中，一个名叫GoogLeNet)的网络架构大放异彩。GoogLeNet吸收了NiN中串联网络的思想，并在此基础上做了改进。这篇论文的一个重点是解决了什么样大小的卷积核最合适的问题。本文的一个观点是，有时使用不同大小的卷积核组合是有利的。本节将介绍一个稍微简化的GoogLeNet版本：我们省略了一些为稳定训练而添加的特殊特性，现在有了更好的训练方法，这些特性不是必要的。

原创 零基础-动手学深度学习-7.3. 网络中的网络（NiN）

LeNet、AlexNet和VGG都有一个共同的设计模式：通过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。AlexNet和VGG对LeNet的改进主要在于如何扩大和加深这两个模块。或者，可以想象在这个过程的早期使用全连接层。然而，如果使用了全连接层，可能会完全放弃表征的空间结构。网络中的网络NiN）提供了一个非常简单的解决方案：在每个像素的通道上分别使用多层感知机？

原创 零基础-动手学深度学习-7.2使用块的网络（VGG）

虽然AlexNet证明深层神经网络卓有成效，但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。在下面的几个章节中，我们将介绍一些常用于设计深层神经网络的启发式概念。

原创 零基础-动手学深度学习-7.1 AlexNet

第七章将介绍现代的卷积神经网络架构，AlexNet、VGG、NiN、GoogLeNet、ResNet和DenseNet:下面一句话我直接照搬过来我觉得非常好：虽然深度神经网络的概念非常简单——将神经网络堆叠在一起。但由于不同的网络架构和超参数选择，这些神经网络的性能会发生很大变化。本章介绍的神经网络是将人类直觉和相关数学见解结合后，经过大量研究试错后的结晶。我们会按时间顺序介绍这些模型，在追寻历史的脉络的同时，帮助培养对该领域发展的直觉。这将有助于研究开发自己的架构。

原创 零基础-动手学深度学习-6.6 卷积神经网络（LeNet）

通过之前几节，我们学习了构建一个完整卷积神经网络的所需组件。回想一下现在我们已经掌握了卷积层的处理方法，我们可以在图像中保留空间结构。同时，用卷积层代替全连接层的另一个好处是：模型更简洁、所需的参数更少。本节将介绍LeNet,它是最早发布的卷积神经网络之一，于80年代发明的为了识别手写数字，LeCun发表了第一篇通过反向传播成功训练卷积神经网络的研究！

原创 零基础-动手学深度学习-6.5 汇聚层（pooling）池化层

通常当我们处理图像时，我们希望逐渐降低隐藏表示的空间分辨率、聚集信息，这样随着我们在神经网络中层叠的上升，每个神经元对其敏感的感受野（输入）就越大。WHY？因为我们的机器学习任务通常会跟全局图像的问题有关（例如，“图像是否包含一只猫呢？”），所以我们最后一层的神经元应该对整个输入的全局敏感！此外，当检测较底层的特征时（例如中所讨论的边缘），我们通常希望这些特征保持某种程度上的平移不变性。例如，如果我们拍摄黑白之间轮廓清晰的图像X，并将整个图像向右移动一个像素，即，则新图像Z的输出可能大不相同。

原创 零基础-动手学深度学习-6.4. 多输入多输出通道

虽然我们在中描述了构成每个图像的多个通道和多层卷积层。例如彩色图像具有标准的RGB通道来代表红、绿和蓝。但是到目前为止，我们仅展示了单个输入和单个输出通道的简化例子。这使得我们可以将输入、卷积核和输出看作二维张量。但当我们添加通道时，我们的输入和隐藏的表示都变成了三维张量。本节将更深入地研究具有多输入和多输出通道的卷积核，多输入多输出通道可以用来扩展卷积层的模型。

原创 零基础-动手学深度学习-6.3. 填充和步幅

还有什么因素会影响输出的大小呢？本节我们将介绍填充（padding）和步幅（stride），有时，在应用了连续的卷积之后，我们最终得到的输出远小于输入大小。这是由于卷积核的宽度和高度通常大于1所导致的，比如上一节讲的例子，如何计算输出张量的大小，需要减去卷积核的宽度核高度，这样原始图像的边界丢失了许多有用信息。而填充是解决此问题最有效的方法；有时，我们可能希望大幅降低图像的宽度和高度。例如，如果我们发现原始的输入分辨率十分冗余。步幅。

原创 零基础-动手学深度学习-6.2 图像卷积

上节我们解析了卷积层的原理，现在我们看看它的实际应用。由于卷积神经网络的设计是用于探索图像数据，本节我们将以图像为例。

原创 零基础-动手学深度学习-6.1 从全连接层到卷积

基于卷积神经网络架构的模型在计算机视觉领域中已经占主导地位，在本章的开始，我们将介绍构成所有卷积网络主干的基本元素。这包括卷积层本身、填充（padding）和步幅（stride）的基本细节、用于在相邻区域汇聚信息的汇聚层（pooling）、在每一层中多通道（channel）的使用，以及有关现代卷积网络架构的仔细讨论。先前讨论的MLP适合处理表格数据，行列对应的样本和特征，然而对于高维感知的数据并不适用。

原创 零基础-动手学深度学习-5 深度学习计算

每个块必须提供的基本功能：将输入数据作为其前向传播函数的参数。通过前向传播函数来生成输出。请注意，输出的形状可能与输入的形状不同。例如，我们上面模型中的第一个全连接的层接收一个20维的输入，但是返回一个维度为256的输出。计算其输出关于输入的梯度，可通过其反向传播函数进行访问。通常这是自动发生的。存储和访问前向传播计算所需的参数。根据需要初始化模型参数。#从0开始编写一个多层感知机的块，注意，下面的MLP类继承了表示块的类。

原创 零基础-动手学深度学习-4.9. 环境和分布偏移

通过将基于模型的决策引入环境，我们可能会破坏模型(因为模型决策在于穿皮鞋的人更不会欠款，导致了所有人开始穿皮鞋，这也让我们的决策失去了原本的意义)

原创 零基础-动手学深度学习-4.8. 数值稳定性和模型初始化

数值稳定性和模型初始化

原创 零基础-动手学深度学习-4.7. 前向传播、反向传播和计算图

前反向传播

原创 零基础-动手学深度学习-4.6暂退法（Dropout）

关于drop out正则化的原理和实现

原创 零基础-动手学深度学习-4.5权重衰减

关于一点点正则化的小知识

原创 零基础-动手学深度学习-4.4模型选择、欠拟合和过拟合

关于模型选择和泛化问题

原创 零基础-动手学深度学习-4.3多层感知机的简洁实现

又水一篇

原创 零基础-动手学深度学习-4.2多层感知机的从零开始实现

又水了一篇····

原创 零基础-动手深度学习-4.1多层感知机

非常浅薄的多层感知机理解

原创 零基础-动手学深度学习-3.7softmax回归的简洁实现

softmax回归的简单实现

原创 零基础-动手学深度学习-3.6softmax回归的从零开始实现

softmax回归的复复复复杂操作

原创 零基础-动手学深度学习-3.5图像分类数据集

二、定义load_data_fashion_mnist函数。

原创 零基础-动手学深度学习-3.4softmax回归

一点关于softmax的浅薄学习

原创 零基础-动手学深度学习-3.2-3线性回归的代码实现

线性回归代码实现，从复杂到简单

原创 零基础-动手学深度学习-3.1线性回归

线性回归和深度学习的爱恨纠葛