LongXinKou的博客

记住所有信息。（1）定义与特性RNN之所以在时序数据上有着优异的表现是因为RNN在t时间片时会将t-1时间片的隐节点作为当前时间片的输入。（2）问题LSTM之所以能够解决RNN的长期依赖问题，是因为LSTM引入了门（gate）机制用于控制特征的流通和损失。（1）定义与特性设置记忆细胞，选择性的记忆。（2）前向传播选择性的保留历史记忆，吸收新的知识输出门oto_tot​：①ot=σ(Wxoxt+Whoht−1+bo);o_t=\sigma(W_{xo}x_t+W_{ho}h_{t-1}+

文章目录参考资料1. 线性回归1.1 准备数据1.2 构建计算图1.3 构造损失函数和优化器1.4 训练过程本博客重点介绍深度学习代码框架，对于相关理论不进行更多的介绍。参考资料B站刘二老师Pytorch深度学习实践1. 线性回归采用深度学习Pytorch框架搭建线性回归模型通常需要四个步骤：准备数据构建计算图：①__init__()②forward()构建损失函数和优化器训练①向前传播–>损失计算–>向后传播–>更新。1.1 准备数据import tor

文章目录1. 数据操作的实现1.1 创建张量1.2 张量的属性1.3 张量的操作1.4 节省内存1.5 转换其他Python对象参考资料张量（tensor）比Numpy的ndarray多一些重要功能。（1）GPU很好地支持加速计算，而Numpy仅支持CPU计算。 （2）张量类支持自动微分。1. 数据操作的实现首先需要导入torch：import torch1.1 创建张量有三种方式可以创建张量。可以使用arange创建一维张量后使用reshape重构张量结构。也可以使用zeros()、ones

文章目录1. 参考资料2. softmax回归2.1 特点2.2 回归步骤3. 损失函数3.1 L2 Loss3.2 L1 Loss3.3 Huber's Robust Loss3.4 交叉熵损失1. 参考资料[1] 动手学深度学习 v2 - 从零开始介绍深度学习算法和代码实现课程主页：https://courses.d2l.ai/zh-v2/教材：https://zh-v2.d2l.ai/[2] 李沐老师B站视频：https://www.bilibili.com/video/BV1K64y1Q7

文章目录1. 参考资料2. 感知机1. 参考资料[1] 动手学深度学习 v2 - 从零开始介绍深度学习算法和代码实现课程主页：https://courses.d2l.ai/zh-v2/教材：https://zh-v2.d2l.ai/[2] 李沐老师B站视频：https://www.bilibili.com/video/BV1MB4y1F7of?p=32. 感知机（1）定义给定输入x，权重w，和偏移b，感知机输出：o=σ(<w,x>+b)o=\sigma(<w,x>

文章目录1. 参考资料2. LeNet2.1 网络结构2.2 总结1. 参考资料[1] 动手学深度学习 v2 - 从零开始介绍深度学习算法和代码实现课程主页：https://courses.d2l.ai/zh-v2/教材：https://zh-v2.d2l.ai/[2] 李沐老师B站视频：https://www.bilibili.com/video/BV1t44y1r7ct?spm_id_from=333.999.0.0用卷积层代替全连接层的好处可以在图像中保留空间结构。（不需要直接展平后用

文章目录2. 图像卷积2.1 互相关运算（cross-correlation）2.2 学习卷积核2.3 特征图和感受野3. 填充和步幅（padding and stride）3.1 填充（padding）3.2 步幅（stride）2. 图像卷积2.1 互相关运算（cross-correlation）在卷积层中，输入张量和核张量通过互相关运算产生输出张量。计算： 卷积窗口从输入张量的左上角开始，从左到右从上到下滑动。当卷积窗口滑动到新一个位置时，包含在该窗口的部分张量与卷积张量按元素相乘，得到的值

文章目录1. 基础知识1.1 线性模型1.2 模型评估1.3 模型训练1.4 优化方法——梯度下降小批量随机梯度下降2. 代码2.1 构造人为数据集2.2 构造Pytorch数据迭代器2.3 初始化模型2.4 模型训练代码总结参考资料1. 基础知识1.1 线性模型线性模型可以看做是单层神经网络。给定n维输入x=[x1,x2,⋯ ,xn]Tx=[x_1,x_2,\cdots,x_n]^Tx=[x1​,x2​,⋯,xn​]T，线性模型有一个n维权重w=[w1,w2,⋯ ,wn]w=[w_1,w_2,\