LittleSeedling的博客

Gumbel Softmax Trick

在训练稳定的前提下，拥有Post-LN的性能。代码：https://github.com/LiyuanLucasLiu/Transformer-Clinic。原始Transformer论文中为Post-LN。一般来说，Post-LN会比Pre-LN的效果好。Transformer的Layer Norm的位置很关键。在询问过全知全能的New Bing之后，找到一篇文章。期刊会议：EMNLP 2020。之后，基本所有输出都相同了。这里我们使用Pre-LN。而Pre-LN却不会。

return tuple(tensor[index] for tensRuntimeError: CUDA error: initialization errorCUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

从拉平的上三角矩阵中，重构矩阵

文章目录PyG的信息传递机制MessagePassing ClassGCN demo1. 导入头文件2. 构造函数3. 前向传播forward4. message5. aggregate6. update完整GCN demo代码参考：PyG利用MessagePassing实现GCN(了解pyG的底层逻辑）PyG官方demo GCNPyG的信息传递机制PyG提供了**信息传递（邻居聚合）**操作的框架模型。xik=γk(xik−1,□j∈N(i)ϕ(xik−1,xjk−1,ej,i))x_i

文章目录beginer tutorialsinstall detectron2跟着[官方demo](https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5)一起做1. Run a pre-train detectron2 model加载配置文件`cfg`可视化输出2. Train on a custom dataset数据集加载数据集加载测试训练评估模型使用COCO数据集标准评估完整代码github-facebo

windows安装detectron2重点步骤错误Microsoft Visual C++ 14.0 or greater is required.ImportError: DLL load failed win32file : 找不到指定的程序。参考：WIN10安装Detectron2（0.1或0.4.1，基于Pytorch1.8.1、Cuda11.1.1）How to easily install Detectron2 on Windows 10 ? (可能需要梯子)github dete

vscode上使用anaconda前情提示：之前已经配置好了VScode和Anaconda的环境。本来是在Pycharm上使用Tensorflow的，但是Pycharm的license过期了，所以转向VScode。步骤如下：在Extensions上安装Python插件。在status栏上切换解释器。(View -> Appearance -> Show Status Bar)选择默认的终端为Command Prompt。（默认为PowerShell）（不换也行）...