- 博客(4)
- 收藏
- 关注
RSS订阅原创 手写Transformer-2
之后用李沐团队的d2l包进行训练和预测，我通过手写Transformer做了一些优化，所以我对训练和预测这部分代码内部进行了改写。这里用到了KV缓存和保存了Encoder的padding mask编码。
2025-01-11 13:17:48
325
原创 动手学深度学习中RNN手动实现中的state的detach_问题
next y_hat会用到pre state进行计算，next loss function又会用到next y_hat计算，所以pre state作为next loss funciton计算图中的一员。所以当next loss funtion做backward()时，一直反向传播，直到传播到pre state时，pre state应当继续反向传播，可是发现上一轮做backward()时，已经销毁了计算图。2.将z的detach()作为d的输入：d = z.detach()*2+x。
2024-11-26 16:12:19
389
原创 关于np.select()的传入条件参数
int64的数据是 python原生整数类型，不支持表示nan，做条件之后的的类型是bool；Int64是pandas的数据类型，支持表示nan，做条件之后的的类型是boolean。但是np.select()是属于np的函数，它的条件参数只支持python原生数据类型的bool。可是当运行np.select()筛选却报错，说传入条件不符合要求，我仔细检查了我的代码并没有问题啊。最后我查了一些资料，发现amount的数据类型是Int64,把它改成int64就能运行了。1.直接修改定义数据的代码的数据类型。
2024-10-29 11:37:19
340
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人