qq_42662568的博客

Task6——批量归一化和残差网络15.1 批量归一化本节我们介绍批量归一化（batch normalization）层，它能让较深的神经网络的训练变得更加容易。在（实战Kaggle比赛：预测房价）里，我们对输入数据做了标准化处理：处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近：这往往更容易训练出有效的模型。通常来说，数据标准化预处理...

Task9——目标检测基础14.1 目标检测和边界框在前面的一些章节中，我们介绍了诸多用于图像分类的模型。在图像分类任务里，我们假设图像里只有一个主体目标，并关注如何识别该目标的类别。然而，很多时候图像里有多个我们感兴趣的目标，我们不仅想知道它们的类别，还想得到它们在图像中的具体位置。在计算机视觉里，我们将这类任务称为目标检测（object detection）或物体检测。目标检测在多个领...

Task9——图像风格迁移13.1 样式迁移如果你是一位摄影爱好者，也许接触过滤镜。它能改变照片的颜色样式，从而使风景照更加锐利或者令人像更加美白。但一个滤镜通常只能改变照片的某个方面。如果要照片达到理想中的样式，经常需要尝试大量不同的组合，其复杂程度不亚于模型调参。在本节中，我们将介绍如何使用卷积神经网络自动将某图像中的样式应用在另一图像之上，即样式迁移（style transfer）。...

Task10——GAN；DCGAN12.1 GAN原理GAN的基本原理其实非常简单，这里以生成图片为例进行说明。假设我们有两个网络，G（Generator）和D（Discriminator）。正如它的名字所暗示的那样，它们的功能分别是：G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x...

Task06——梯度下降11.1 梯度下降法梯度导数我们都非常熟悉，既可以表示某点的切线斜率，也可以表示某点变化率，公式如下表示：f′(x)=lim⁡Δx→0ΔyΔx=lim⁡Δx→0f(x+Δx)−f(x)Δxf^{\prime}(x)=\lim _{\Delta x \rightarrow 0} \frac{\Delta y}{\Delta x}=\lim _{\Delta x \r...

Task——Transformer9.1 TransformerTransformer 是一种新的、基于 attention 机制来实现的特征提取器，可用于代替 CNN 和 RNN 来提取序列的特征。Transformer 首次由论文 《Attention Is All You Need》 提出，在该论文中 Transformer 用于 encoder - decoder 架构。事实上 T...

Task4——注意力机制与Seq2seq模型8.1 注意力机制所谓的注意力机制，其实就是让系统学会注意力-即关注重点信息忽略无关信息。带有注意力机制的系统，不仅可以自主学习注意力，还可以帮助我们更好的理解神经网络。现在，在计算机视觉当中大多数都是通过掩码来生成注意力，掩码本质上是一组新的权重，可以帮助我们找到需要关注的信息。目前主要演化出了两种注意力，一种是软注意力，其重点关注的是区域或通...

Task4——机器翻译及相关技术7.1 机器翻译机器翻译是指将一段文本从一种语言自动翻译到另一种语言。因为一段文本序列在不同语言中的长度不一定相同，所以我们使用机器翻译为例来介绍编码器—解码器和注意力机制的应用。7.1.1 读取和预处理数据我们先定义一些特殊符号。其中“<pad>”（padding）符号用来添加在较短序列后，直到每个序列等长，而“<bos>”和“&...

Task5——卷积神经网络基础；leNet；卷积神经网络进阶10.1 卷积神经网络（CNN）基础卷积神经网络是一种用来处理局部和整体相关性的计算网络结构，被应用在图像识别、自然语言处理甚至是语音识别领域，因为图像数据具有显著的局部与整体关系，其在图像识别领域的应用获得了巨大的成功。10.1.1 卷积神经网络的组成层图10.1 卷积神经网络示意图​ 以图像分类任务为例，在表10.1所示...

Task2——梯度消失、梯度爆炸5.1 梯度消失与梯度爆炸的概念深度神经网络训练的时候，采用的是反向传播方式，该方式使用链式求导，计算每层梯度的时候会涉及一些连乘操作，因此如果网络过深。那么如果连乘的因子大部分小于1，最后乘积的结果可能趋于0，也就是梯度消失，后面的网络层的参数不发生变化.那么如果连乘的因子大部分大于1，最后乘积可能趋于无穷，这就是梯度爆炸。5.2 梯度消失与梯度爆...

Task2——过拟合、欠拟合及其解决方案4.1 欠拟合与过拟合的概念欠拟合：模型拟合不够，在训练集（training set）上表现效果差，没有充分的利用数据，预测的准确度低。过拟合：模型过度拟合，在训练集（training set）上表现好，但是在测试集上效果差，也就是说在已知的数据集合中非常好，但是在添加一些新的数据进来训练效果就会差很多，造成这样的原因是考虑影响因素太多，超出自变量...

Task-3——循环神经网络进阶6.1 长短期记忆（LSTM）6.1.1 理论知识理解理解LSTM网络6.1.2 LSTM的从零开始实现以下附上代码：导入相应的包import numpy as npimport torchfrom torch import nn, optimimport torch.nn.functional as Fimport syssys.p...

Task-2 文本预处理；语言模型；循环神经网络基础3.1 文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型读入文本我们用一部英文小说，即H. G. Well的Time Machine，作为...

Task-1 线性回归；Softmax与分类模型；多层感知机1.1 线性回归原理1.1.1 线性回归的基本要素我们以一个简单的房屋价格预测作为例子来解释线性回归的基本要素。这个应用的目标是预测一栋房子的售出价格（元）。我们知道这个价格取决于很多因素，如房屋状况、地段、市场行情等。为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与...

[深度学习]动手学深度学习笔记-1这个寒假由于新冠肺炎疫情严重，影响了各高校返校时间，在家就是做贡献。自己有幸参与Datawhale的公益AI线上训练营，14天挑战李沐老师的**《动手学深度学》pytorch版**，在此记录自己的学习过程。1.1 环境配置1.1.1 AnacondaAnaconda是Python的一个开源发行版本，主要面向科学计算。我们可以简单理解为，Anaconda是...