weixin_72250436的博客

datawhale ai 共学。

架构(summary) ↘卷积核(grid) → torchinfo / make_grid / matshow特征图(hook) ↗↘训练过程(tb) → SummaryWriter → tensorboard↗实验对比(wb) → wandb.init / log / sweep。

"""Note: output/target 任意形状，但 dtype 必须可做减法。"""关键别用mean()自带广播且免于手动除；该函数不会被注册到，因此一般在训练循环里直接。"""每 `drop_every` epoch ×0.5"""train(...)

场景典型写法优点局限或最短代码，一行顶多行；自动串行forward只能按固定顺序前向；不方便插入分支/多输入；“可迭代层列表”，支持动态循环、重复结构仍需手写forward，无法自动注册子层顺序名字可读，利于按键访问 / 条件分支与ModuleList相同，需要自己控制执行逻辑# ---------- ① Sequential：完全按顺序 ----------seq_net = nn.Sequential( # 自动生成 forward；最省事。

datawhale AI 共学。

TPU/NPU 架构图：硬件约束直接形塑深度学习算法，未来可能反向驱动模型设计走向“compute-aware”。已经成了学术圈的既成事实：截至 2021-06 统计，公开代码库数量 ≈ TensorFlow × 4。权重，甚至评审时会先问“有没有 PyTorch 复现”——被动强制迁移。理解：形状不足的轴在运算时虚拟复制，代价是显存→∞，实战中要。：三段式 NFU (乘-加-激活)，运算流紧凑；：多进程多卡，梯度 all-reduce，显存均衡；，JAX-style 编译或许是终点。