过招

论文复现：Only a Matter of Style: Age Transformation Using a Style-Based Regression Model一、简介本文提出了一种图像到图像（image-to-image）的年龄转换方法，该方法促使编码器学习将真实面部图像编码到预先训练的无条件 GAN（例如 StyleGAN）的潜在空间中，该编码器会受到给定的年龄变化的影响。本文将老化过程作为输入年龄和目标年龄之间的回归任务，对生成图像的年龄提供细粒度控制（而不是只能老化到给定的年龄），使

论文复现：Progressive Growing of GANs for Improved Quality, Stability, and Variation一、简介本文提出了一种新的训练 GAN 的方法——在训练过程中逐步增加生成器和鉴别器的卷积层：从低分辨率开始，随着训练的进行，添加更高分辨率的卷积层，对更加精细的细节进行建模，生成更高分辨率和质量的图像。这个方法既加快了 GAN 的训练速度，又增加了训练的稳定性，因为预先训练的低分辨率层能给更难收敛的高分辨率层带来更有利于训练的隐藏编码。本

torchvision.models 里面有很多已经训练好的经典网络，我们做迁移学习的时候可以使用这些预训练的神经网络的卷积部分做特征提取器，训练时，只需迭代更新最后的全连接层，即分类器。一、首先从 torchvision.models 白嫖一个预训练好的 AlexNet：from torchvision import modelsalexnet = models.alexnet(pretrained=True) # 初始化模型类实例，并自动下载预训练的模型参数print(alexnet)

torchvision 是 pytorch 框架适配的相当好用的工具包，它封装了最流行的数据集（torchvision.datasets）、模型（torchvision.models）和常用于 CV 的图像转换组件（torchvision.transforms）和其它工具：有时间一定要通读一遍官方文档 TORCHVISION，内容不多，简明易懂，有助于上手。以 notebook 的方式实践 torchvision# 导入必要的包import torchimport torchvision

来自 B 站刘二大人的《PyTorch深度学习实践》P12 的学习笔记RNN Cell循环神经网络的隐藏层可以说都是线性层（Linear），由于它主要用于预测有前后关系的序列输入，所以它像斐波那契数列一样，后一次循环要输入前一次的输出，即，递归地求出下一次输出，故弹幕里有不少人称之为递归神经网络。下图中的左边就是一层 RNN 的隐藏层，右边是它运行的过程（RNN Cell 一直是同一个，只是可视化运行的过程）。指向下一次输入的红色箭头就是前一次的输出 hth_tht​，xtx_txt​ 是数据.

来自 B 站刘二大人的《PyTorch深度学习实践》P11 的学习笔记上一篇 卷积神经网络进阶（GoogLeNet、ResNet） 我们实践了 GoogleNet 和 ResNet 两大经典网络：GoogleNet 从多路选择学习（Inception Module）出发，构建更好的神经网络；ResNet 从残差连接（Residual Block）保留浅层特征出发，构建更深的神经网络。DenseNet1 紧随其后，再次研究了超深度神经网络的梯度消失问题和跳连解决方案。他们提到，ResNet 等.

来自 B 站刘二大人的《PyTorch深度学习实践》P11 的学习笔记GoogLeNet1×1 卷积上一篇我们知道，卷积的个数取决于输入图像的通道数。1×1 卷积能起到特征融合、改变通道数和减少计算量的效果，被称为神经网络中的神经网络例如，我们先通过 1×1 卷积减少了通道的数量，让大的卷积核计算更少的通道数，能大大减少计算量：Inception ModuleInception（盗梦空间） Module 的目的在于给神经网络提供多个卷积层的配置，在将来通过训练选择最优线路，和.

来自 B 站刘二大人的《PyTorch深度学习实践》P10 的学习笔记之前的由线性层组成的全连接网络是深度学习常用的分类器，由于全连接的特性，网络提取的特征未免冗余或者抓不住重点，比如像素的相对空间位置会被忽略。所以，在全连接层前面加入特征提取器是十分有必要的，卷积神经网络就是最好的特征提取器。CNN关于卷积神经网络的输入输出特征图，以及多通道多批量的特征处理，参考：卷积神经网络的输入输出特征图大小计算。单输出通道的卷积核：输入图像的每个通道分别对应一片卷积核矩阵，一次卷积最后会把输入图像的.

来自 B 站刘二大人的《PyTorch深度学习实践》P8 的学习笔记上一篇 PyTorch 加载数据集 中，我们实战了 MNIST 手写数据集的识别网络，那其实就是一个多分类问题（识别出 10 个类），这时候就要用 softmax，而不是 sigmoid 了。SoftmaxSoftmax 函数：P(y=i)=ezi∑j=0K−1ezi,i∈{0,...,K−1}P(y = i) = \frac{e^{z_i}}{\sum^{K-1}_{j=0} e^{z_i}}, i \in \{ 0, ...

来自 B 站刘二大人的《PyTorch深度学习实践》P8 的学习笔记上一篇 处理多维特征的输入 的时候我们提到了 Mini-Batch，也就是训练时，一个 epoch 只遍历 NNN 个 samples（行），N≤总行数N \le 总行数N≤总行数，要实现这个，就要用到 PyTorch 强大的数据加载工具类：Dataset、DataLoader。一次性输入全部的 Batch 的优势在于计算性能，而且更容易用于并行计算；一次性输入一个样本的优势在于数据的随机性使得网络优化更容易走出鞍点，更易.

来自 B 站刘二大人的《PyTorch深度学习实践》P7 的学习笔记回顾上一篇逻辑斯蒂回归中，分类的最终结果是输出概率对应的分类，是离散的集合，虽然神经网络预测的概率的分布拟合的是 Sigmoid，但这些概率是用于决策分类的，类别是离散的集合；而线性回归的输出结果是实数集，它们拟合目标函数。数据表示对于关系型数据表，在 PyTorch 中读取时是以下面的方式表示的：一行是一个 Sample（样本）：一列是一个 Feature（特征）：多维数据需要转换成矩阵运算Mini.

来自 B 站 《PyTorch深度学习实践》P6 的笔记Logistic Function（Sigmoid）：σ(x)=11+e−x，可知σ(x)∈(0,1)，用于概率预测。\sigma(x) = \frac{1}{1+ e^{-x}}，可知 \sigma(x) \in (0, 1)，用于概率预测。σ(x)=1+e−x1​，可知σ(x)∈(0,1)，用于概率预测。各种 Sigmoid 函数：只需在线性回归模型最后加入 Sigmoid 输出层即可做逻辑斯蒂回归预测：二分类问题的损失函.