csdn_xmj的博客

查看官方文档。

RNN Classifier – Name Classification用RNN做一个分类器。现在有一个数据集，数据集里有人名和对应的国家，我们需要训练一个模型，输入一个新的名字，模型能预测出是基于哪种语言的（18种不同的语言，18分类）。Revision在自然语言处理中，通常先把词或字编程一个one-hot向量，one-hot向量维度高，而且过于稀疏，所以一般来说先通过嵌入层（Embed）把one-hot向量转化成低维的稠密向量，然后经过RNN，隐层的输出...

对线性层的复用Dense网络：稠密网络，有很多线性层对输入数据进行空间上的变换，又叫DNN。输入x1，x2，…，xn是数据样本的不同特征。Dense连接就是指全连接。比如预测天天气，就需要知道之前几天的数据，每一天的数据都包含若个特征，需要若干天的数据作为输入。假设现在取前3天，每一天有3个特征。第一种方法：把x1，x2，x3拼成有9个维度的长向量，然后去训练最后一天是否有雨。用全连接稠密网络进行预测，如果输入序列很长，而且每一个序列维度很高的话，对网络训练有很大挑战，因为稠密网络（

上一篇的神经网络架构是一个串行的结构，上一层输出是下一层的输入。在神经网络里面有更为复杂的结构，比如加上分支，或者输出会返回来。RevisionGoogLeNetInception Module一个块：Inception（盗梦空间）1x1卷积最主要的工作：改变通道数，减小复杂度1x1的卷积有啥用？（降低运算量）What is 1x1 convolution?Why is 1x1 convolution?1*1卷积可以减少运算量。Impl..

简单回顾一下练习题。• Try a more complex CNN:（尝试更复杂的CNN）• Conv2d Layer *3• ReLU Layer * 3• MaxPooling Layer * 3• Linear Layer * 3• Try different configuration of this CNN:（尝试不同的CNN配置）• Compare their performance...

简单介绍卷积神经网络。

5 Exercise 9-2: Classifier Implementation练习9-2：找到kaggle的这个数据集做多分类Dataset ref：https://www.kaggle.com/c/otto-group-product-classification-challenge/data

构建模型来预测人员是否存活，尝试了3种模型，模型3提交之后的准确率79.186%。

总体生存率情况（Survived）：整个数据集存活率38.38%，死亡率61.62%。不同性别的人员存活率分析（Sex、Survived）：整个数据集中男性人数577，女性314人，男性占比64.75%，但女性的存活率74.2%远高于男性存活率18.8%（存活率与性别有关）。不同登船港的人员存活率分析（Embarked、Survived）：可以看到，C地登船的存活率最高、其次为Q地登船、S地登船人数最多但存活率仅有1/3（存活率与登船港有关）。不同船舱号的人员存活率分析（Cabin、Surviv

刘老师在第8讲中留下一个练习：使用kaggle上的Titanic数据集，使用DataLoader类进行分类。训练目标是预测某位乘客是否活下来（Survived）。我们先看前期的数据分析。

多分类问题-MNIST数据集Revision: Diabetes datasetRevision: MNIST DatasetDesign 10 outputs using Sigmoid?Output a Distribution of prediction with Softmax多分类问题用SoftMax分类器要求输出的分类概率都大于0且总和为1，把输出经过sigmoid运算就可以。Softmax Layer定义ExampleLoss

原文链接：Save and Load the Model — PyTorch Tutorials 1.10.1+cu102 documentationSAVE AND LOAD THE MODELIn this section we will look at how to persist model state with saving, loading and running model predictions.【在本节中，我们将看看如何通过保存、加载和运行模型预测来持久化模型状态。】imp

原文链接：Optimizing Model Parameters — PyTorch Tutorials 1.10.1+cu102 documentationOPTIMIZING MODEL PARAMETERSNow that we have a model and data it’s time to train, validate and test our model by optimizing its parameters on our data. Training a model is an

原文链接：Automatic Differentiation with torch.autograd — PyTorch Tutorials 1.10.1+cu102 documentation

原文链接：Build the Neural Network — PyTorch Tutorials 1.10.1+cu102 documentationBUILD THE NEURAL NETWORKNeural networks comprise of layers/modules that perform operations on data. The torch.nn namespace provides all the building blocks you need to build you

Dataset and DataLoader是加载数据的两个工具类。Dataset：构造数据集（数据集应该支持索引，能够用下标操作快速把数据拿出来）。 DataLoader：主要目标是拿出一个MiniBatch(一组数据)供我们训练的时候快速使用。Revision:Manual data feed在上面的代码中，训练时，每次给Model做前馈的时候都是把所有的数据（x_data）传进去的。在做梯度下降的时候有两种选择：①全部的数据都用（Batch）②随机梯度下降：只用一个样本..

原文链接：Transforms — PyTorch Tutorials 1.10.1+cu102 documentationData does not always come in its final processed form that is required for training machine learning algorithms. We use transforms to perform some manipulation of the data and make it suitable

原文链接：Datasets & DataLoaders — PyTorch Tutorials 1.10.1+cu102 documentationCode for processing data samples can get messy and hard to maintain; we ideally want our dataset code to be decoupled from our model training code for better readability and mo

原文链接：Tensors — PyTorch Tutorials 1.10.1+cu102 documentation

原文链接：Learn the Basics — PyTorch Tutorials 1.10.1+cu102 documentation

单维：输入x是一个实数多维输入：x有多个不同的特征，预测对应的分类对于回归问题：输出值y是一个实数对于分类问题：输出y属于一个离散的集合Diabetes Dataset对于上面这个数据集，在机器学习中每一行叫做一个样本，每一列叫做一个特征。在数据库中，每一行叫做一个记录，每一列叫做一个字段。Multiple Dimension Logistic Regression Model在机器学习里面，拿到数据表之后，把内容分成两部分，一部分作为输入x，另一部分作为输入y...

Revision-Linear RegressionClassification-The MNIST DatasetMNIST 数据集来自美国国家标准与技术研究所，National Institute of Standards and Technology (NIST)。 训练集 (training set) 由来自 250 个不同人手写的数字构成，其中 50% 是高中学生，50% 来自人口普查局 (the Census Bureau) 的工作人员。测试集(test set) 也是同样比..

官方链接：Learning PyTorch with Examples — PyTorch Tutorials 1.10.1+cu102 documentationAuthor:Justin JohnsonNOTEThis is one of our older PyTorch tutorials. You can view our latest beginner content in Learn the Basics.

现在来看第5讲：用pytorch实现线性回归。主要会介绍nn.Module，如何构造自己的神经网络；如何构造loss函数；以及如何构造sgd优化器。0 Revision回顾之前的课程，解决问题的步骤是构造模型；损失函数；优化器。1 PyTorch Fashion1.1 pytorch版本流程1.2 Example1.2.1 Linear Regression-1.prepare dataset在这个数据集要使用mini-batch的风格，因为只有3个数据，所以都放进去。模

结下来第4讲：back propagation。这是神经网络比较重要的一个算法。关于反向传播的详细理论推荐吴恩达老师讲解：1-3 Coursera吴恩达《神经网络与深度学习》第三周课程笔记-浅层神经网络的3.10小结。0 Computer gradient in simple network回归上一讲的线性模型，看成一个比较简单的神经网络。1 What about the complicated network?对于复杂的神经网络，权重w有很多个，写具体的梯度解析式看着是几乎

回忆上一讲：构建学习系统，针对我们数据集，选择了最简化的线性模型y = x*w，然后使用穷举法搜索w。但是如果纬度多起来，这个方法不太可行。那我们可以考虑分治法。分治算法比如要搜索100个点，我先把横纵坐标分成4份，先取16个点，看那一个点得到的值最接近真实值，然后在该点所在区域划分区域继续取值。但是对于非凸函数来讲，这样容易错过比较好的解。所以观察法和分治法的缺陷都比较明显，而且对于高纬度的数据集执行起来比较困难。Optimization Problem我们把

这0 前言一般而言，处理问题的步骤是：①准备数据集②模型选择设计③训练（大部分模型都需要训练，KNN不需要训练（因为推理时间长，就看新的样本跟数据集里哪一个数据特征最接近，根据训练样本决定它的类别））④应用推理一般拿到数据集，我们将其分成两个部分，训练集和测试集最简单的training方法就是人眼判断。1 Machine learning1.1 问题分析我们要面对的问题如下图：x是学生每周学习的时间，y是期末考试的分数。给出y的数据是training时

关于pytorch深度学习框架的学习，课程名称《PyTorch深度学习实践概论》，视频来源B站up主“刘二大人”。课程封面1首页1 前言深度学习框架学习的实践课程。第一讲介绍深度学习的概况，明确这是一个实践课，不会讲太多的数学知识，主要是讲怎么做出来。PyTorch版本：0.4，目前最新1.10，跟着课程可以用1.0,1.2,1.5的应该也行（重点：要会看文档）大学学的课程总不是最新的（有的说法说高校课程落后于企业的实际需求，其实不是这样），最主要的原因是任何一项技术的发展曲线会