weixin_51589123的博客

内容来源于【菜菜&九天深度学习实战课程】上班以后时间少，为了提高效率，通过抄课件的方式加深记忆，而非听课。所以所有笔记仅仅是学习工具，并非抄袭！在传统机器学习中，通常会区分有监督、无监督、分类、回归、聚类等人物类别，在不同的任务重会指向不同形式的标签、不同的评估指标、不同的损失函数，这些内容会影响我们的训练和建模流程。在深度视觉以外，除了区分“回归、分类”之外，还需要区分众多的、视觉应用类别。

cnn入门级学习笔记

经典SOTA网络复现

卷积神经网络经典架构VGG16复现

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、简单线性回归的机器学习建模思路1、回顾简单线性回归建模问题2.转化为优化问题3.最优化问题的求解方法图形展示目标函数函数的凹凸性凸函数的最小值SSE最小值4.机器学习建模一般流程Step 1：提出基本模型Step 2：确定损失函数和目标函数Step 3：根据目标函数特性，选择优化方法，求解目标函数二、第一个优化算法：最小二乘法1.最小二乘法的代数表示方法2.手动代码验证最小二乘法3.lstsq实现最小二乘法4.反向验证导数.

提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、模型拟合度概念介绍与实验1.测试集的“不可知”悖论2.模型拟合度概念与实验前言一、模型拟合度概念介绍与实验1.测试集的“不可知”悖论机器学习模型主要通过模型在测试集上的运行效果来判断模型好坏，测试集相当于是“高考”，而此前的模型训练都相当于是在练习，但怎么样的练习才能有效的提高高考成绩，这里就存在一个“悖论”，那就是练习是为了高考，而在高考前我们永远不知道练习是否.

注：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录一、机器学习中的优化思想二、回归：误差平方和SSE三、二分类交叉熵损失函数1 极大似然估计求解二分类交叉熵损失2 用tensor实现二分类交叉熵损失3 用PyTorch中的类实现二分类交叉熵损失四、多分类交叉熵损失函数一、机器学习中的优化思想模型训练的目标：求解一组最适合的权重向量，令神经网络的输出结果与真实值尽量接近。关键概念：损失函数是可以衡量真实值与预测结果的差异，评价模.

提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、 数据归一化与Batch Normalization理论基础（一）、经典机器学习的归一化算法1.经典机器学习归一化方法回顾1.1 0-1标准化方法1.2 Z-Score标准化2.经典机器学习归一化算法在深度学习中的实践- 在训练集上训练，测试集上测试- Z-Score建模实验3.Z-Score数据归一化的局限3.1 Zero-Centered特性消失（二）Batch Norm.

提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、深度学习建模实验中数据集创建函数的创建与使用1、 创建回归类数据函数生成线性相关数据y=2x1- x2 + b + 扰动项生成非线性的数据集，y =w x ** 2 + b +扰动项创建回归数据生成函数分类数据集创建方法手动实现一个三分类数据集二、PyTorch深度学习建模可视化工具TensorBoard的安装与使用三、深度学习基础模型建模实验1、线性回归建模实验2、逻辑回.

文献阅读笔记：《基于图卷积的出发地-目的地矩阵预测:旅客需求建模的新视角》摘要现有研究不足研究挑战（难点）本文的贡献准备工作定义1：格子定义2：时间片定义3：OD矩阵模型方法空间维度：网格嵌入法（一）地理邻居（二）语义邻居时间维度：多任务学习（一）periodic-skip LSTM（二）主要任务：预测OD需求矩阵（三）两个子任务：预测出发地需求和目的地需求数据集实验结果摘要1、 起点—终点矩阵预测，及进行OD需求矩阵的预测，OD需求矩阵的预测比一般的需求预测更加具有挑战性，不仅要求预测一个地区的需求量

提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltim.

提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、Xavier方法1.Xavier初始化参数方法基础理论前言本部分内容介绍的是：参数初始化优化方法，也就是针对tanh和Sigmoid激活函数的Xavier方法，以及针对ReLU激活函数的Kaiming方法（HE初始化）。一、Xavier方法1.Xavier初始化参数方法基础理论回顾Glorot条件，我们要求正向传播时候数据流经每一层前后的方差一致，并且反向传播时.

***注：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要无解！纯属学习记录笔记！！！！！！***笔记来源：菜菜和九天老师的深度学习pytorch课程文章目录一、单层回归网络：线性回归1、单层回归网络的理论基础2 tensor实现单层神经网络的正向传播3 tensor新手陷阱tensor计算中的第一大坑：PyTorch的静态性tensor计算中的第二大坑：精度问题4 torch.nn.Linear实现单层回归神经网络的正向传播二、二分类神经网络：逻辑回归1 二分类神经网络的理论基础

文章目录前言一、张量的符号索引1、一维张量索引2、二维张量索引3、三维张量索引二、张量的函数索引torch.index_select()方法三、tensor.view()方法四、张量的分片函数1、分块：chunk函数2、拆分：split函数四、张量的合并操作1、cat2、stack堆叠六、张量维度变换1、squeeze函数：删除不必要的维度2、unsqueeze函数：手动升维前言张量作为有序的序列，也是具备数值索引的功能，并且基本索引方法和Python原生的列表、NumPy中的数组基本一致，当然，所有

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、AutoGrad的回溯机制与动态计算图1.可微分性相关属性requires_grad属性：可微分性grad_fn属性：存储Tensor微分函数2.张量计算图计算图的定义节点类型3.计算图的动态性二、反向传播与梯度计算2.反向传播运算注意事项中间节点反向传播和输出节点反向传播区别中间节点的梯度保存一、AutoGrad的回溯机制与动态计算图1.可微分性相关属性requires_grad属性：可微分性#构建可微分张量x .

提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、优化器与状态字典（state_dict）state_dict模型本地保存与读取方法二、LambdaLR基本使用方法三、LambdaLR学习率调度实验1.前期准备2.构建新的lambda函数3.模型训练与结果比较对比恒定学习率为0.03时模型训练结果对比恒定学习率为0.01时模型训练结果对比Lesson 15.1节中学习率调度模型结语前言学习率调度作为模型优化的重要方法，.

提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、梯度消失与梯度爆炸二、Sigmoid和tanh激活函数的梯度更新问题理论说明Sigmoid函数饱和区间Sigmoid激活函数叠加后的梯度消失问题前言模型病灶与模型调优。实际上模型优化更像是对“患病”的模型进行诊断、然后对症下药，通过这些“治疗”方法，最终让模型运行恢复正常且健康的状态，并得出较好的模型预测结果。尽管优化方法就像一种种药品，各自都标注了适用的病症，但深度学.

注：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！

提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、Dead ReLU Problem成因分析1.Dead ReLU Problem直接表现2.Dead ReLU Problem成因分析2.1 Dead ReLU Problem基本判别2.2 Dead ReLU Problem发生概率二、通过调整学习率缓解Dead ReLU Problem三、ReLU激活函数特性理解前言和Sigmoid、tanh激活函数不同，ReLU激.

提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录前言一、学习率对模型训练影响二、学习率调度基本概念与手动实现方法1.模型调度基本概念2.手动实现学习率调度前言学习率作为模型优化的重要超参数，在此前的学习中，我们已经看到了学习率的调整对模型训练在诸多方面的显著影响。这里我们先简单回顾此前遇到的学习率调整的场景：·缓解Dead ReLU Problem：在ReLU激活函数叠加的神经网络中，由于ReLU本身负值归零的特性，可能会.

仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录一、梯度下降中的两个关键问题1、 找出梯度向量的方向和大小2、让坐标点移动起来（进行一次迭代）一、梯度下降中的两个关键问题1、 找出梯度向量的方向和大小2、让坐标点移动起来（进行一次迭代）...

神经网络兴起的三驾马车：算法、算例和数据

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、张量的广播（Broadcast）特性1.相同形状的张量计算2.不同形状的张量计算2.1 标量和任意形状的张量2.2 相同维度、不同形状的张量之间计算2.3 不同维度的张量计算过程中广播二、逐点运算（Pointwise Ops）1.基本运算2.数值调整运算3.数据科学运算tensor的大多数科学计算只能作用于tensor对象tensor的大多数科学运算具有一定的静态性排序运算:sort三、规约运算四、比较运算前言提示：.

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代.