csdn_xmj的博客

AI已经越来越融入日常生活和工作。今天，Jenny和Jason就要分享一系列使用AI过程中最常用、最实用的英语。快来学习吧！

【写在前面】为进一步提高自己的python代码能力，先从经典的书籍开始吧，《Python编程：从入门到实战》，侵权删！

本文来源“Datawhale”公众号，侵权删。原文链接：深度学习的坎坷六十年文章导读从1958年弗兰克.罗森布拉特发明的感知机、RNN、LeNet-5到Transformers等等，前人们一步一步的带动着深度学习往前跑。本文主要偏向于计算机视觉方向，带大家回想智慧凝结的每一个里程碑。1958 年：感知机的兴起1958 年，弗兰克 · 罗森布拉特发明了感知机，这是一种非常简单的机器模型，后来成为当今智能机器的核心和起源。感知机是一个非常简单的二元分类器，可以确定给定的输入图像是否属

最近学习了《深度学习之pytorch实战计算机视觉》这本书，前面几章介绍了一些入门知识（这里略过），重点放在5-11章的内容和代码，笔记和代码（可跑通）完整链接如下：《深度学习之pytorch实战计算机视觉》第5章 Python基础《深度学习之pytorch实战计算机视觉》第6章 PyTorch基础（代码可跑通）《深度学习之pytorch实战计算机视觉》第7章 迁移学习（代码可跑通）《深度学习之pytorch实战计算机视觉》第8章 图像风格迁移实战（代码可跑通）《深度学习之pytorch

上一章《深度学习之pytorch实战计算机视觉》第10章 循环神经网络（代码可跑通）介绍了循环神经网络，接下来看自动编译器。自动编码器（ AutoEncoder ）是一种可以进行无监督学习的神经网络模型。一般而言，一个完整的自动编码器主要由两部分组成，分别是用于核心特征提取的编码部分（Encoder）和可以实现数据重构的解码部分（Decoder）。下面介绍自动编码器中编码部分和解码部分的具体内容。11.1 自动编码器入门在自动编码器中负责编码的部分也叫作编码器（Encoder），而负责解码的部分也叫

torch版本>='1.6.0'。循环神经网络（Recurrent Neural Network，简称RNN）是深度学习中重要的内容和我们之前使用的卷积神经网络有着同等重要的地位。循环神经网络主要被用于处理序列（Sequences）相关的问题，比如在自然语言领域应用循环神经网络的情况就较多；当然，也可以用于解决分类问题，虽然在图片特征的提取上没有卷积神经网络那样强大，但是本章仍然会使用循环神经网络来解决图片分类的问题，并主要讲解循环神经网络的工作机制和原理。

多模型融合是一种“集百家之所长”的方法，非常受大众喜爱，比如在Kaggle比赛中就经常会用到各种各样的多模型融合实例。其实多模型融合的内容不仅仅局限于本章所介绍的内容，因为本章讲到的只是用于模型输出结果的融合方法，而且这些方法还在不断创新，所以我们最主要的还是要发挥自己的想象力和创造力，这样才有可能发现更多、更优的模型融合方法。

本章将完成一个有趣的应用：图像风格迁移算法。

第7章迁移学习

6.16.1.1 Tensor的数据类型：torch.FloatTensor 生成数据类型为浮点数的张量，入参为列表或者维度值torch.IntTensor 生成数据类型为整型的张量，入参为列表或者维度值torch.rand 随机生成数据类型为浮点型的张量，浮点数据在0-1区间均匀分布，入参为维度值torch.randn 随机生成数据类型为浮点型的张量，浮点数据满足N（0,1）的正态分布，入参为维度值torch.range 生成数据类型为浮点数且自定义起始范围和结束范围的张量，入参为起始点.

类的继承不过需要注意的是，当一个类被继承时，这个类中的初始化方法是不会被自动调用的，所以我们需要在子类中重新定义类的初始化方法。另外，我们在使用 Python 代码去调用某个方法时，默认会先在所在类中进行查找，如果没有找到，则判断所在的类是否为子类，如果为子类，就继续到父类中查找。下面通过一个具体的实例来看看如何创建和使用子类。class People(): def __init__ (self,name,age): self.name= name

在PyTorch深度学习实践概论笔记11-卷积神经网络高级篇中介绍了GoogLeNet（包括Inception Module）以及Residual Block，为进一步学习ResNet网络，需要阅读论文。论文链接：https://arxiv.org/pdf/1512.03385.pdf...

RNN Classifier – Name Classification用RNN做一个分类器。现在有一个数据集，数据集里有人名和对应的国家，我们需要训练一个模型，输入一个新的名字，模型能预测出是基于哪种语言的（18种不同的语言，18分类）。Revision在自然语言处理中，通常先把词或字编程一个one-hot向量，one-hot向量维度高，而且过于稀疏，所以一般来说先通过嵌入层（Embed）把one-hot向量转化成低维的稠密向量，然后经过RNN，隐层的输出...

对线性层的复用Dense网络：稠密网络，有很多线性层对输入数据进行空间上的变换，又叫DNN。输入x1，x2，…，xn是数据样本的不同特征。Dense连接就是指全连接。比如预测天天气，就需要知道之前几天的数据，每一天的数据都包含若个特征，需要若干天的数据作为输入。假设现在取前3天，每一天有3个特征。第一种方法：把x1，x2，x3拼成有9个维度的长向量，然后去训练最后一天是否有雨。用全连接稠密网络进行预测，如果输入序列很长，而且每一个序列维度很高的话，对网络训练有很大挑战，因为稠密网络（

上一篇的神经网络架构是一个串行的结构，上一层输出是下一层的输入。在神经网络里面有更为复杂的结构，比如加上分支，或者输出会返回来。RevisionGoogLeNetInception Module一个块：Inception（盗梦空间）1x1卷积最主要的工作：改变通道数，减小复杂度1x1的卷积有啥用？（降低运算量）What is 1x1 convolution?Why is 1x1 convolution?1*1卷积可以减少运算量。Impl..

简单回顾一下练习题。• Try a more complex CNN:（尝试更复杂的CNN）• Conv2d Layer *3• ReLU Layer * 3• MaxPooling Layer * 3• Linear Layer * 3• Try different configuration of this CNN:（尝试不同的CNN配置）• Compare their performance...

简单介绍卷积神经网络。

5 Exercise 9-2: Classifier Implementation练习9-2：找到kaggle的这个数据集做多分类Dataset ref：https://www.kaggle.com/c/otto-group-product-classification-challenge/data

构建模型来预测人员是否存活，尝试了3种模型，模型3提交之后的准确率79.186%。

总体生存率情况（Survived）：整个数据集存活率38.38%，死亡率61.62%。不同性别的人员存活率分析（Sex、Survived）：整个数据集中男性人数577，女性314人，男性占比64.75%，但女性的存活率74.2%远高于男性存活率18.8%（存活率与性别有关）。不同登船港的人员存活率分析（Embarked、Survived）：可以看到，C地登船的存活率最高、其次为Q地登船、S地登船人数最多但存活率仅有1/3（存活率与登船港有关）。不同船舱号的人员存活率分析（Cabin、Surviv

多分类问题-MNIST数据集Revision: Diabetes datasetRevision: MNIST DatasetDesign 10 outputs using Sigmoid?Output a Distribution of prediction with Softmax多分类问题用SoftMax分类器要求输出的分类概率都大于0且总和为1，把输出经过sigmoid运算就可以。Softmax Layer定义ExampleLoss

原文链接：Save and Load the Model — PyTorch Tutorials 1.10.1+cu102 documentationSAVE AND LOAD THE MODELIn this section we will look at how to persist model state with saving, loading and running model predictions.【在本节中，我们将看看如何通过保存、加载和运行模型预测来持久化模型状态。】imp

原文链接：Optimizing Model Parameters — PyTorch Tutorials 1.10.1+cu102 documentationOPTIMIZING MODEL PARAMETERSNow that we have a model and data it’s time to train, validate and test our model by optimizing its parameters on our data. Training a model is an

原文链接：Automatic Differentiation with torch.autograd — PyTorch Tutorials 1.10.1+cu102 documentation

原文链接：Build the Neural Network — PyTorch Tutorials 1.10.1+cu102 documentationBUILD THE NEURAL NETWORKNeural networks comprise of layers/modules that perform operations on data. The torch.nn namespace provides all the building blocks you need to build you

Dataset and DataLoader是加载数据的两个工具类。Dataset：构造数据集（数据集应该支持索引，能够用下标操作快速把数据拿出来）。 DataLoader：主要目标是拿出一个MiniBatch(一组数据)供我们训练的时候快速使用。Revision:Manual data feed在上面的代码中，训练时，每次给Model做前馈的时候都是把所有的数据（x_data）传进去的。在做梯度下降的时候有两种选择：①全部的数据都用（Batch）②随机梯度下降：只用一个样本..

原文链接：Transforms — PyTorch Tutorials 1.10.1+cu102 documentationData does not always come in its final processed form that is required for training machine learning algorithms. We use transforms to perform some manipulation of the data and make it suitable

原文链接：Datasets & DataLoaders — PyTorch Tutorials 1.10.1+cu102 documentationCode for processing data samples can get messy and hard to maintain; we ideally want our dataset code to be decoupled from our model training code for better readability and mo

原文链接：Tensors — PyTorch Tutorials 1.10.1+cu102 documentation

原文链接：Learn the Basics — PyTorch Tutorials 1.10.1+cu102 documentation

单维：输入x是一个实数多维输入：x有多个不同的特征，预测对应的分类对于回归问题：输出值y是一个实数对于分类问题：输出y属于一个离散的集合Diabetes Dataset对于上面这个数据集，在机器学习中每一行叫做一个样本，每一列叫做一个特征。在数据库中，每一行叫做一个记录，每一列叫做一个字段。Multiple Dimension Logistic Regression Model在机器学习里面，拿到数据表之后，把内容分成两部分，一部分作为输入x，另一部分作为输入y...

Revision-Linear RegressionClassification-The MNIST DatasetMNIST 数据集来自美国国家标准与技术研究所，National Institute of Standards and Technology (NIST)。 训练集 (training set) 由来自 250 个不同人手写的数字构成，其中 50% 是高中学生，50% 来自人口普查局 (the Census Bureau) 的工作人员。测试集(test set) 也是同样比..

李宏毅2021春季机器学习教程-类神经网络训练不起来怎么办（五），接下来本篇介绍批量标准化（Batch Normalization ）这个策略。BN这个策略往往是对训练有帮助的。

类神经网络训练不起来怎么办（四）分类（Classification）。讲讲有关分类（Classification）能做的事情。

李宏毅2021春季机器学习教程-类神经网络训练不起来怎么办（三）：机器学习时训练神经网络的第三个策略：自动调整学习率，包括RMSProp、Adam和Momentum等。

介绍了机器学习时训练神经网络的第二个策略：批次与动量。

When gradient is small现在我们要讲的是Optimization的部分，等下我们要讲的东西基本上跟Overfitting没有什么太大的关联，我们只讨论Optimization的时候，怎么把gradient descent做得更好，那为什么Optimization会失败呢？

李宏毅2021春季机器学习课程-第二节机器学习任务攻略笔记。

def save_pred(preds, file): ''' Save predictions to specified file ''' print('Saving results to {}'.format(file)) with open(file, 'w') as fp: writer = csv.writer(fp) writer.writerow(['id', 'tested_positive']) for i, p i.

OutlineObjectives Task Description Data Evaluation Metric Kaggle Grading Code Submission Deadlines Hints Regulations again Useful LinksObjectivesSolve a regression problem with deep neural networks (DNN).Understand basic DNN training tips e.g. hype