Suasy小易的博客

set（集合）是 Python 内置的数据结构，特点是 元素无序、唯一，适用于 去重、集合运算 等场景，本文详解了一些常见用法

Transformer 位置编码常见的方案有以下几种：三角函数位置编码（Sinusoidal PE），相对位置偏置（Relative PE），可学习位置编码（Learnable PE），RoPE（旋转位置编码），ALiBi（Attention Linear Bias）。现代 Transformer 模型更偏向于 RoPE 和 ALiBi，因为它们能适应更长的文本，并且提高了训练稳定性和泛化能力！

Adam 的 L2 正则化 会影响梯度估计值，导致优化器在 自适应学习率的调节 过程中对权重衰减的影响不稳定。AdamW 的独立权重衰减 让权重衰减成为一个真正的正则化项，而不会干扰梯度估计，使得模型的 泛化能力更强。

PyTorch 作为一个深度学习框架，经历了多个版本的迭代，带来了许多新特性、改进和优化。以下是 PyTorch 主要版本的发布历程以及关键更新。

关于 Position Wise 的一些分享

快速上手一个搭建一个简单的 pytorch 深度学习网络

快速入门使用 Pandas 库进行数据读取和处理