- 博客(22)
- 收藏
- 关注
RSS订阅原创 Instance Normalization（实例归一化）
InstanceNorm的核心优势在于其“独立性”不依赖于批次大小能更好地保留单个样本的特征非常适合视觉领域的生成式模型和一些需要对每个实例进行独立处理的任务。
2025-08-29 18:43:54
1074
原创 深入理解Einsum：MSA共进化特征提取与标准注意力机制的对比
通过对比einsum′bslibsmj−blmij′leftrighteinsum′bslibsmj−blmij′leftright和einsum′bikbjk−bij′QKeinsum′bikbjk−bij′QK相同点: 都使用爱因斯坦求和约定进行张量操作，都涉及矩阵乘法-like的操作不同点。
2025-08-28 10:23:28
930
原创 Denoising Diffusion Probabilistic Models (DDPM) 论文学习记录
前向过程（扩散过程）qx1T∣x0∏t1TNxt;1−βtxt−1βtI逐步添加高斯噪声（方差表β1Tβ1T固定或可学）。反向过程pθx0TpxT∏t1TNxt−1;
2025-08-24 16:22:28
955
原创 DDPM中如何理解“L_simple在 t = 1 时近似 L_0 ” ？
这是一个非常微妙但关键的点。我们来彻底讲清楚 “LsimpleL_{\text{simple}}Lsimple 在 t=1t=1t=1 时近似 L0L_0L0” 这句话背后的含义，以及什么是“关联”。首先，我们明确 L0L_0L0 是什么：L0=−logpθ(x0∣x1)L_0 = -\log p_\theta(x_0 | x_1)L0=−logpθ(x0∣x1)其中 pθ(x0∣x1)p_\theta(x_0 | x_1)pθ(x0∣x1) 是通过那个离散解码器计算出来的：pθ
2025-08-24 15:39:59
630
原创 DDPM中为什么网络预测噪声而不是均值？
直接学习μtμt复杂是因为它要求神经网络隐含地恢复x0x_0x0，并处理不同时间步的数值变化。而预测噪声ϵ\epsilonϵ简化了优化过程，因为它将问题转化为一个更直接的去噪任务，只关注于估计添加的噪声，从而提高了训练的稳定性和效率。这就是为什么在扩散模型（如DDPM）中，通常选择预测ϵ\epsilonϵ而不是直接预测μtμt。
2025-08-23 19:32:40
958
原创 Denoising Diffusion Probabilistic Models (DDPM) 背景部分公式解析
pθ(x0:T):=p(xT)∏t=1Tpθ(xt−1 ∣ xt),pθ(xt−1 ∣ xt):=N(xt−1;μθ(xt,t),Σθ(xt,t))(1)p_{\theta}(\mathbf{x}_{0:T}) := p(\mathbf{x}_{T})\prod_{t=1}^{T} p_{\theta}(\mathbf{x}_{t-1}\!\mid\!\mathbf{x}_{t}), \quad p_{\theta}(\mathbf{x}_{t-1}\!\mid\!\mathbf{x}_{t})
2025-08-23 13:55:10
938
原创 KL散度（Kullback-Leibler divergence）
KL散度（Kullback-Leibler Divergence）是衡量两个概率分布P和Q之间差异的重要指标。它通过期望值定义为D_KL(P∥Q)=E_x∼P[log(P(x)/Q(x))]，具有非负性、可加性和不对称性等特性。
2025-08-21 08:51:59
1353
原创 《Attention Is All You Need》论文学习记录（transformer）
论文摘要 《Attention Is All You Need》提出了Transformer架构，这是首个完全基于注意力机制的序列转换模型，摒弃了传统的循环和卷积结构。其核心创新在于： 纯注意力设计：通过自注意力机制直接建模全局依赖关系，显著提升并行计算能力，训练时间比RNN/LSTM缩短75%（8 GPU训练12小时达SOTA）。 关键技术： 缩放点积注意力（方差稳定至1） 多头注意力并行处理 位置编码替代序列顺序
2025-08-15 19:42:34
945
原创 Noise2Noise(无监督图像去噪) 公式推导
故事梗概：1.你拍了一张夜景照片，结果全是雪花点（噪声）。2.传统做法：找一张一模一样的「干净照片」当参考答案，教电脑如何把有噪点的照片修成干净的（这叫监督学习）。3.Noise2Noise 的脑洞：不需要干净照片！只要两张同一场景、不同随机噪声的照片 A、B，告诉电脑「把 A 修得尽量像 B 就行」。因为两张噪声是随机的，平均下来电脑就学会去掉噪声，而不会保留任何一张的特殊噪声。期望 (expectation)均值 (mean)总体方差（Population Variance）
2025-08-07 22:04:19
703
原创 Noise2Noise(无监督图像去噪) 训练流程浅析
Noise2Noise 的核心训练流程：“用两组独立同分布、零均值的噪声样本分别污染同一张潜在干净图，得到；然后像传统监督学习一样，用 L2 / L1 / 自定义损失去回归 ŷ，网络就能学会输出真实干净图，从而完全摆脱对真实干净数据的依赖。
2025-08-07 21:57:07
931
原创 Noise2Noise(无监督图像去噪) 复现（Windows PowerShell Pytorch）
本文介绍了n2n论文PyTorch实现的复现流程。首先详细说明了COCO数据集的下载与处理步骤，使用PowerShell命令将420张图片划分为训练集，80张为验证集，5张为测试集。其次配置了基于清华镜像源的conda环境，创建Python 3.9虚拟环境并安装依赖项。最后给出了训练和测试的具体命令参数，包括数据路径、批次大小、噪声类型等设置。测试阶段加载训练好的模型权重，设置噪声参数和裁剪尺寸进行验证。
2025-08-04 19:02:16
260
2
原创 Limited Repainting Educational Codeforces Round 175 (Rated for Div. 2)
首先想到直接求最小值，去讨论间隔数和操作数之间的关系，如果间隔数大于操作数，最后一定会有惩罚值出现，但是如何去安排每次操作呢？多次尝试没有找到结果。然而，如果第一步去考虑能否将惩罚值降到某一个阈值之下呢？如果能解决这一个问题，就可以使用二分解决。
2025-03-08 12:17:58
253
原创 P8677 [蓝桥杯 2018 国 A] 采油
事实上，这种做法是不对的，只是因为数据太水，所以通过了全部测试点。（下面的代码给出了一组hack数据）还有一个没有弄清的问题：根节点的选取是否对答案有影响呢？我试了几组数据，好像没有影响？
2024-12-20 16:59:08
177
原创 CF A. Doremy‘s IQ
假设全部参与，智商为负数，那么就不能全部参与，即至少有一场没有参与，恰好使得剩余场次参与之后智商为零，此时最优，而智商初始值为1，那么必然有降智的场次，假设第一场降智的场次为x，那么“x到n全部参与，1到x - 1能参与的就参与”一定是一种最优解。得到最优解的形式后采用二分求解。从第一场降智的比赛到最后一场比赛全部参与，这种策略一定是最优的。
2024-10-26 17:10:07
274
1
原创 CF - 1484 - C - Basic Diplomacy （1600）
如果后面有些天只有那一个朋友能选，那只能选这个朋友，如果这样的情况出现了⌈m / 2⌉次，而在第一天的时候，也选了这个朋友（而恰好第一天还可以选别的朋友），那就会出现误判。随后WA，实际上，如果某一天所有朋友参与次数都相等，比如第一天，所有朋友都参与了零次，那么我们怎么选会对答案产生影响，这也是以上代码忽略的地方(直接就选了第一个朋友)。首先抛开每个朋友参与游戏的次数限制，在每一天的时候，都尽量去选参与人数最少的朋友，如果这样还超出了限制，那么就判定无解。
2024-10-19 21:45:47
259
原创 RC-u5 工作安排
/排序之后，如果选择了第i个工作，由于其截止时间不比前面的早，将该工作放在最后一个完成才能获得最大报酬。//基于01背包的特性，对于每一个工作组合，可以不从零时刻开始，但是一旦开始就必须连续进行直到j时刻。//前i个工作在j时刻完成得到的最大报酬。
2024-08-01 09:42:26
501
原创 RC-u5 栈与数组
/在删除k个相同数的条件下将1 ~ i， 1 ~ j里的数字放进数组后的长度。//整个操作过程中数组最大容量的最小值。//预处理pre数组。
2024-07-30 19:34:59
912
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人