深度学习
文章平均质量分 81
inquisiter
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
从反向传播看 QKV:注意力只是计算图里的几个节点
继续沿用上一篇《反向传播通关指南》的框架——"每层只管局部导数,剩下的交给链式法则连乘"。Q、K、V 在结构上就是**三个 `Linear` 层**(也就是上一篇那块最熟悉的积木 $y=wx+b$,只是放大成了矩阵);attention 本身只是计算图里多出来的几个节点(矩阵乘 → 缩放 → softmax → 矩阵乘),每个节点照旧只有一个局部导数。真正神奇的地方在于:**Q/K/V 的"语义角色"不是写死的,而是反向传播把梯度推了几万步之后"涌现"出来的原创 2026-08-27 11:35:53 · 251 阅读 · 0 评论 -
反向传播:从手算梯度,到手写框架,最后拿去预测房价
这篇文章用一个带真实数字的小网络,把"梯度到底怎么算出来"讲透;再把这份理解重构成一个 5 层分明的迷你深度学习框架 minidnn,并拿它做了个房价预测 demo。全程只需要高中导数和最基础的矩阵知识。配套代码:backprop_lab.py(4 步递进实验)、minidnn/(迷你框架)、demo_house_price.py(房价预测应用)。原创 2026-08-26 18:14:43 · 366 阅读 · 0 评论 -
损失函数概念
衡量模型的预测误差。指导模型优化。反映任务目标。提供训练反馈。帮助模型泛化。选择合适的损失函数对于模型的成功至关重要,因为它直接决定了模型的学习目标和优化方向。原创 2025-04-27 10:20:03 · 610 阅读 · 0 评论 -
样本处理过程
每个样本包含 3 个时间步的数据,例如[1, 2, 3]。x_train是每个样本的前 2 个时间步,即[1, 2]。y_train是每个样本的第 3 个时间步,即[3]。x_train是从前 6 个样本中提取的前 2 个时间步:[[1, 2],[2, 3],[3, 4],[4, 5],[5, 6],[6, 7]]y_train是从前 6 个样本中提取的第 3 个时间步:[3, 4, 5, 6, 7, 8]每个样本包含 3 个时间步的数据,例如[7, 8, 9]。x_test。原创 2025-04-25 14:48:22 · 542 阅读 · 0 评论
分享