- 博客(13)
- 收藏
- 关注
RSS订阅原创 pytorch学习笔记-反向传播算法
针对这个神经元，我们首先的操作是前馈运算（forward），前馈运算就是先沿着图中的箭头方向，由输入向最终的loss计算，先计算最终的loss。于是我们希望设计一个算法，它可以把我们的网络看作是一个图，我们在图上来传播我们的梯度，最终根据链式法则把梯度求出来，这样的算法就叫做。为了解决这个问题，我们需要提高模型的复杂度，换句话说不能进行化简，因为如果可以化简，说明我们设计的多层就没有意义，和一层是一样的。由于反向传播，我们已经知道了l对z的导数，又因为f函数是已知的，所以我们也知道f（x）对x和w的导数，
2025-01-19 10:07:41
1277
原创 pytorch学习笔记-梯度下降算法
中：计算梯度的时候，每一个点都是互不影响的，计算f（xi）和f（xi+1）是互不影响的，也就是说他们之间的运算是可以并行的，因为用的是cost函数作为梯度的分母。我们随机取四个区域，计算出每个区域中最好的结果，再在选中的结果区域中再取四个区域…中：w = w - のg（xi）/のw 梯度前面的w是依赖于上一次的计算结果的。我们得到的训练过程曲线（cost图像）一般不是平滑的，所以我们在画图的时候可以。如果cost函数的图像是上图这样，到红圈的位置后，就无法梯度下降了，，但是存在一种特殊的点。
2025-01-15 21:46:06
432
原创 pytorch学习笔记-线性模型
我们在深度学习中也经常需要画右侧的表，但是横坐标不是w权重，而是训练的轮数epoch，因为**深度学习中我们很难判断结果什么时候进入收敛，可以通过图来帮助我们判断是否收敛。x = {4}是测试数据集，在训练中，我们不能偷看的，因为测试集的数据是用来判定我们的模型是不是有一个比较好的泛化能力。，我们随机猜一个w，随机数w有可能大有可能小，所以我们要评估选了一个新的权重w后，代入新w后，它所表示的。，从概率论的知识我们可以知道，想要接近真实分布，我们要满足。，综上，我们的训练集很难精确的表示数据真实的分布。
2025-01-13 22:03:18
648
原创 深度学习笔记2
定义一个函数，这个函数实际上就是一个neural network，（简单理解为神经网络中的一个神经元，我们通过不同的方法连接这些neural network，我们就得到了不同的结构）常见的连接方式有：Fully connect feedforward network（全连接前馈神经网络）举个例子，左上角第一个神经元有自己的weight和bias，通过计算得到11+（-1）（-2）+1 = 4再将4代入sigmoid函数中得到0.98。
2025-01-12 20:41:56
486
原创 MySQL存储结构
存储结构为innodb mysql为5.7版本时 每个库都有自己的opt文件存储库的信息 例如字符集等每个表都有frm和ibd格式的文件其中frm存储表的结构 例如字段 索引等ibd存储表的数据
2022-02-09 13:20:34
730
原创 对于迭代器的理解
最近复习集合 整理出了一些之前不知道或者记不清的知识点 分享给大家有用的话希望大家点个赞 谢谢！Iterater对象成为迭代器 设计模式的一种 主要用于遍历Collection集合中的元素 GOF给迭代器模式的定义为：提供一种方法可以遍历一个容器中的各个元素，而又不暴露容器的内部细节。简单来说，迭代器模式就是为了容器而生。Iteraror 仅用于遍历集合，iterator本身并不提供承装对象的能力如果需要创建迭代器对象 必须有一个被迭代的集合格式为Collection coll=new Arr
2022-01-06 09:26:47
655
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人