画心

本文介绍了Welford在线算法，这是一种高效计算大数据集统计量的方法。针对内存不足时处理大规模数据的问题，文章对比了传统方差计算方法的缺陷（内存占用大、数值稳定性差），详细阐述了Welford算法的核心思想：通过维护均值、计数和平方差三个变量，实现增量式流式计算。该算法具有O(1)空间复杂度和O(N)时间复杂度，能有效避免数值计算中的精度损失问题。文中提供了Python实现代码和实际应用示例，展示了如何分块处理大规模CSV文件并计算全局统计量。最后推导了算法公式的数学原理，证明其数值稳定性优势。

CNN、Transformer、ONN（Operational Neural Network）和KAN

本文介绍了三种扩散模型变体：DDPM、Improved DDPM和DDIM。DDPM通过迭代去噪过程生成样本，但采样速度较慢。Improved DDPM改进了噪声调度策略，采用余弦形式的调整，并引入混合损失函数以优化训练。DDIM则通过非马尔可夫链设计，在保持相同训练目标的同时，显著加快采样速度。这三种方法在扩散模型的噪声处理、损失函数设计和采样效率上各有创新，推动了扩散模型在生成任务中的性能提升。

本文推导了扩散模型的损失函数，通过引入前向分布简化计算，最终将损失分解为三部分：$L_T$（可忽略的常量）、$L_{t-1}$（KL散度项）和$L_0$（重构误差）。

本文介绍了扩散模型的前向加噪和反向去噪过程。前向过程通过马尔科夫链逐步将数据$x_0$转化为高斯噪声$x_T$，其中噪声强度由预设参数$\beta_t$控制。反向过程则利用神经网络从噪声$x_T$逐步恢复原始数据$x_0$。

朗之万动力学是描述微观粒子在势能场中受趋势力、摩擦力和随机力共同作用的随机微分方程。该方程揭示了热平衡系统中微观状态的概率分布由能量决定（玻尔兹曼分布）。在过阻尼极限下，方程简化为只含趋势力和随机力的一阶形式，成为郎之万采样的理论基础。郎之万采样利用梯度信息和随机噪声，通过离散化处理（欧拉-丸山方法）实现高效概率采样，特别适用于高维非标准化分布。该方法将物理系统的热平衡原理转化为机器学习中的采样引擎，在生成建模等领域有重要应用。

Dice Loss也是图像分割任务中非常常见的一个损失函数。本文基于 [Generalised Wasserstein Dice Score for Imbalanced Multi-class Segmentation using Holistic Convolutional Networks](https://arxiv.org/abs/1707.00478) 中的内容进行了整理。

我们可以用充电、放电、重置，这 3 个离散方程来描述任意的离散脉冲神经元。

最近做了一个汇报，这里放一些重要内容。内容主要来自于我自己的阅读总结和综述文章：Transformers in Vision: A Survey.

模型压缩之蒸馏算法小结文章目录模型压缩之蒸馏算法小结输出配准Distilling the Knowledge in a Neural Network（NIPS 2014）Deep Mutual Learning（CVPR 2018）Born Again Neural Networks（ICML 2018）直接配准拟合注意力图Paying More Attention to Attention: ...

对BN、CBN和CmBN的一个简单记录。

关于阅读论文的一些感想最近看了一些论文，也和同学在交谈中学习到了一些关于阅读时应该有的态度，这里记录一下。原文地址：https://www.yuque.com/lart/papers/dgrl#EpF76关于实验部分，受到 语雀用户[@xiaoqi skr~skr(xiaoqizhao)] 的指导，在阅读论文时应该关注这样几个点：不要被作者的描述带偏，阅读的时候要留心，作者文字给你的...

Matting任务里的Gradient与Connectivity指标文章目录Matting任务里的Gradient与Connectivity指标主要背景主要的手段主要评价指标大致内容ConnectivityGradient关于参数的选择参考文章主要背景Matting任务就是把α(不透明度, 也就是像素属于前景的概率)、F(前景色)和B(背景色)三个变量给解出来.C为图像当前可观察到的颜色...

本文的内容主要围绕目标定位经典工作LocatingObjectsWithoutBoundingBoxes展开，着重于介绍HausdorffDistance相关的知识。

本文讨论了给定条件下卷积层参数的推导和代码。

IoU损失及其各种变体已经在密集预测任务中展现出了优异的效果。这里做一个简单的罗列与梳理。