x66ccff

【代码】【安逗比】安逗比实用小技巧。

为什么将神经网络的隐藏层用稀疏自编码器(SAE)处理后就能实现’可解释性’？这个’可解释’是如何实现的？还是需要额外的人工分析？

作用：惩罚隐变量的分布 $ q(z \mid x) $ 偏离标准正态分布 $ \mathcal{N}(0, 1) $。意义：促进潜在空间的连续性和可插值性，从而生成多样性和连贯性更好的样本。作用：惩罚权重的后验分布 $ q(W \mid D) $ 偏离先验分布（通常是 $ \mathcal{N}(0, 1) $）。意义：防止模型退化成传统神经网络，保持权重的随机性，量化预测的不确定性，提升模型的泛化能力。

SA

本文以取 (bs, n, n) 张量的右上三角阵并展平为向量 (bs, n*(n+1)//2)) 为例，展示如何用 taichi 编写深度学习算子。如图，要把形状为bsnn的张量，转化为bs2nn1​的向量。我们先写一个最简单的最慢的纯 python 循环实现方法。

mul()和.add_()是 PyTorch 中的 in-place 操作，这意味着它们会直接在原变量上进行操作，而不会返回新的变量。相反，和是 Python 的运算符，它们会返回新的变量，不会改变原变量的值。对于大规模的数据处理，使用 in-place 操作可以节省内存空间。

在实际应用中，如果发现模型训练过程中出现数值稳定性问题，或者需要加速训练过程，使用 LogSoftmax + NLLLoss 可能是一种较优的选择。在计算损失时，使用 NLLLoss 计算对数似然损失需要进行一次对数运算，而 CrossEntropyLoss 需要进行两次对数运算。在输入数值较大时，使用 Softmax 会导致溢出，而 LogSoftmax 则不会。而 LogSoftmax 之后，得到预测概率分布的对数。可以看到，这两种搭配方法计算的结果是一致的。，负对数似然损失就是将两个分布。

【pytorch】训练时爆 Nan 的排查方法。

目标：用 MNIST 训练一个 CNN 模型，然后用梯度上升法生成一张图片，使得模型对这张图片的预测结果为 8。

介绍 Pytorch 官方文档的高斯负对数似然函数 Gaussian NLL Loss。

livelossplot 是一个方便的损失和精确度指标绘制工具，可以方便地在Jupyter 笔记本中当前的机器学习评价指标并。

本文对 dgl 的卷积方式说明文档进行翻译。译者注： RelGraphConv 关系图卷积方式是在 GraphConv 图卷积方式上的改进，解决了 GraphConv 无法考虑到图中具有不同属性的边的问题，使用 RelGraphConv 可以同时汇聚边信息和结点信息。

利用 GCN，在数据集上进行训练，根据图结构和特征字段（1433 维词向量），对结点 label 类别进行预测。

CNN 参数计算

决策树面试大题