SimpleLearing-优快云博客

原创干货获取指南

干货满满

2023-09-06 23:51:08 158

原创 DFL：分布焦点损失——让框回归“学分布“，而不只是“猜数字“

<think>我们根据用户要求，需生成≤150字的文章摘要。摘要要涵盖GFL的QFL和DFL核心思想，解决什么问题，简洁。注意字数。</think>GFL 由 QFL 与 DFL 组成。QFL 用连续 IoU 软标签替代硬 0/1 分类，对齐训练与推理的打分口径；DFL 将回归从点估计改为离散分布估计，用期望还原偏移，并以相邻 bin 加权交叉熵监督，表达定位不确定度并加速收敛。两者共同解决密集检测中分类与回归的割裂问题。

2026-09-08 21:25:05 315

原创 DPO：直接偏好优化

论文：Direct Preference Optimization: Your Language Model is Secretly a Reward Model会议：NeurIPS 2023（Best Paper）

2026-07-31 18:29:32 372

原创 DiT：Diffusion Transformer原理简介

传统潜空间扩散模型（Stable Diffusion、DDPM）均采用CNN U-Net作为去噪骨干网络。U-Net 依靠卷积带来的局部空间归纳偏置完成图像建模，但存在明显短板：模型缩放性能差，单纯增大网络参数量，生成画质提升有限，存在性能瓶颈。DiT（Diffusion Transformer）开创性地使用纯 Transformer 完全替代 U-Net，在 LDM 潜空间框架基础上，仅替换去噪主干，完整保留 VAE 图像压缩/解码流程。

2026-07-27 18:16:59 407

原创图像评估方法 FID 的具体实现原理与代码实现

FID 是两个多维高斯分布的。个人能力有限，有问题随时联系~

2026-07-27 15:50:15 367

原创 ViT：Vision Transformer 从原理到代码

摘要： Google Research提出的Vision Transformer (ViT)将Transformer架构引入图像识别任务，摒弃传统卷积操作。其核心思想是将图像分割为16×16的块（Patch），线性嵌入为Token序列，并添加位置编码与CLS Token，通过多层Transformer Encoder处理。实验表明，ViT在大规模数据集上表现优异，甚至超越CNN。关键设计包括可学习的位置编码、CLS Token分类机制，以及基于自注意力的全局关系建模。ViT的计算复杂度与Patch数量平方相

2026-07-24 21:19:06 215

原创论文解读：F3-Net — 频域思维的人脸伪造检测

频域新视角：首次设计双流互补频域特征框架——空域重建频带特征（FAD）+ 纯频域局部统计特征（LFS），两路协同互补FAD 模块：自适应将图像分解为低/中/高频分量，让 CNN 分别处理不同频段的伪造痕迹LFS 模块：滑窗 DCT + 频带统计，直接在频域提取局部特征，对压缩鲁棒MixBlock：交叉注意力机制融合 RGB 域和频域特征，互补增强压缩鲁棒性：在低质量压缩场景下大幅领先同期方法。

2026-07-24 19:43:38 225

原创论文解读：RECCE — 端到端重建-分类学习的人脸伪造检测

新视角：从"学习伪造特征"转向"学习真实紧凑表示"，利用重建差异检测伪造二分图模块：首次将编解码器特征通过对偶图结构融合，显式利用重建差异多尺度处理：在多个分辨率上捕捉不同粒度的伪造痕迹端到端训练：重建和分类联合优化，互相促进强泛化能力：在多个跨数据集测试中大幅超越已有方法。

2026-07-24 17:49:24 291

原创生成图像/视频质量评估

指标方向优点缺点FID↓ 越低越好与人类感知高度相关需大量样本（5 万+），对 batch 敏感IS↑ 越高越好计算快只看多样性，不衡量真实性LPIPS↓ 越低越好与人类感知最接近需要参考图（不适合无条件生成）SSIM↑ 越高越好经典、计算快像素级比较，对纹理不敏感PSNR↑ 越高越好最简单与人类感知相关性最弱CLIP Score↑ 越高越好可评估文图匹配依赖 CLIP 模型质量。

2026-07-23 18:30:03 339

原创 DDIM：加速扩散采样

x0\hat{x}_0x0生成时没有真实x0x_0x0，由前向公式反解，用网络预测噪声ϵθϵθx0xt−1−αˉtϵθαˉtx0αˉtxt−1−αˉtϵθ。

2026-07-21 20:30:57 339

原创 DDPM：图像生成黑科技

DDPM（Denoising Diffusion Probabilistic Model，去噪扩散概率模型）是深度学习图像生成领域的核心算法之一。其核心思想是"反向生成"：先将真实图像逐步加噪至纯噪声，再学习反向去噪过程，从噪声中逐步恢复出清晰图像。生成时图像从纯噪声逐步演化：噪声 → 模糊色块 → 轮廓出现 → 细节填充。由于每步仅做微小调整，生成图像的光影和纹理较为细腻自然。DDPM 包含两个互逆的过程：2. 正向扩散公式每一步加少量高斯噪声：xt=αt⋅xt−1+1−αt⋅ϵ,ϵ∼N(0,I)x_

2026-07-20 21:07:06 671

原创 BM25：文本处理利器

当输入查询词（如"猫咪掉毛怎么办"），需要从一堆文档中找出最相关的那几篇时，TF-IDF 是最早的思路：看查询词在文档中出现多少次，词频越高越相关。但 TF-IDF 有个问题：词频越高权重越高，可一个词在文档里重复十几次，可能只是作者啰嗦，对相关性的提升有限。BM25（Best Matching 25）是信息检索领域经典的文本相关性打分算法，诞生于上世纪，至今仍是文本检索的"常青树"。BM25 的本质是给每个文档算一个"与查询的相关度得分"，得分越高越相关。：4 篇文档词数分别为 3、4、4、4，则。

2026-07-15 15:07:55 211

原创啥是TF-IDF？一篇人话版科普

TF-IDF（Term Frequency-Inverse Document Frequency）是一种用于信息检索和文本挖掘的统计方法，用于评估一个词对一个文档集或语料库中某个文档的重要程度。核心思路：一个词的重要性随着它在当前文档中出现的次数增加而增加（TF），同时随着它在语料库中出现的频率增加而减小（IDF）。

2026-07-12 21:50:40 214

原创 VAE：原理+代码全解析

变分自编码器（Variational Autoencoder，VAE）是深度学习中经典的生成模型之一，它结合了自编码器的结构和变分推断的思想，既能完成数据压缩，又能实现数据生成。本文将从原理到代码，一步步拆解VAE的核心逻辑。VAE的本质是通过学习数据的潜在分布，实现从低维隐空间到高维数据空间的映射。和传统自编码器不同，VAE不是直接学习输入到隐向量的确定性映射，而是学习隐向量的概率分布，这也是它能生成新数据的关键。传统自编码器由编码器和解码器组成：编码器将输入数据压缩成固定维度的隐向量，解码器再将隐向量还

2026-06-09 21:37:04 308

原创 GBDT：原理+双代码实现

能处理非线性特征，拟合复杂的数据分布；对特征的尺度不敏感，不需要做标准化处理；可以自动进行特征选择，输出特征重要性；模型的预测精度较高，在很多竞赛和实际任务中表现优异。

2026-06-09 14:06:42 282

原创 Torch/Numpy：两层NN详解+实现

用nn.Module# 定义两层线性层和ReLU激活return x。

2026-06-02 10:57:04 210

原创逻辑回归：原理+三框架代码实现

PyTorch 更灵活，适合自定义模型和训练流程，能清晰看到每一步训练细节。

2026-06-01 13:54:19 489

原创 PyTorch & Numpy 实现线性回归详解

Numpy 版本适合吃透线性回归的数学原理、梯度下降的底层逻辑，是打基础的首选；PyTorch 版本封装了大量底层细节，开发效率更高，是工业界和深度学习学习的主流方案；两种实现最终拟合效果一致，参数都会收敛至真实值w≈2b≈3w≈2b≈3；前向传播 → 计算损失 → 反向传播(求梯度) → 更新参数。人能力有限，有问题随时联系~

2026-06-01 11:30:02 256

原创蒙特卡洛采样：原理+代码+ML应用

如果你接触过机器学习中的概率建模、强化学习或者数值计算，大概率听过“蒙特卡洛采样”这个词。这个名字听起来有点神秘，其实它的核心思路特别接地气——说白了就是靠“随机抽样”来解决那些用传统方法算不动的问题。

2026-05-29 11:40:11 228

原创 KL散度：原理+代码+ML应用

在机器学习的世界里，衡量概率分布之间的差异是一个核心问题——不管是训练生成模型让它模仿真实数据的分布，还是做模型评估判断预测结果靠不靠谱，都需要一个靠谱的“差异度量工具”。KL散度（Kullback-Leibler Divergence）就是这样一个被广泛使用的指标，今天我们就从原理、代码实现到实际应用，把它彻底搞明白。

2026-05-29 10:45:42 203

原创 PyTorch乘法全解析

乘法方式运算逻辑形状要求适用场景逐元素相乘形状相同或满足广播对应元素的乘积运算矩阵/批量矩阵乘法第一个最后一维=第二个倒数第二维，支持广播线性变换、网络层运算一维向量点积必须是一维张量，长度相同向量相似度计算等三维批量矩阵乘法必须是三维张量，batch_size一致，中间维度匹配明确的批量矩阵运算，避免广播人能力有限，有问题随时联系。

2026-05-26 18:22:32 488 1

原创大模型推理框架总结解析

本文解析大模型推理框架的核心原理与主流方案。推理框架通过模型加载优化、计算图优化、推理调度和硬件适配等关键技术，提升大模型部署效率。重点对比了vLLM、TensorRT-LLM等主流框架：vLLM采用PagedAttention技术实现高并发处理，TensorRT-LLM则通过算子融合优化计算性能。文章为开发者选型提供了技术参考，涵盖框架原理、核心技术与优缺点分析，帮助根据实际需求选择适合的推理解决方案。

2026-05-17 17:39:41 490

原创大模型数值格式总结

大模型常用的数值格式主要分为两大类：浮点格式（遵循IEEE标准，由符号位+指数位+尾数位组成，原生存储小数）和整数量化格式（无指数位，通过将小数映射为固定区间整数来实现压缩）。核心规律位数越少，显存占用越小、计算速度越快，但精度越低。指数位越多，数值范围越大，越不易溢出。尾数位越多，小数精度越高。

2026-05-17 17:21:33 459

原创啥是大模型GGUF格式

如果你最近在折腾开源大模型，尤其是在个人电脑、树莓派这类边缘设备上跑模型，大概率会碰到GGUF这个格式。它不像PyTorch的.pt或者TensorFlow的.pb那么“正统”，但却是当下圈里最火的轻量化模型格式之一，今天就把它的来龙去脉说清楚。

2026-05-15 12:05:10 538

原创聚类算法详解

本文介绍了四种常见的无监督聚类算法及其应用。K-Means通过迭代优化中心点实现简单高效的聚类；层次聚类以树状结构逐步合并或分裂数据；DBSCAN基于密度识别核心点和噪声；高斯混合模型则用概率分布描述数据。文章用生活化类比解释算法原理，并提供Python代码示例展示各算法在客户分群、图像分割等场景的应用。不同算法适用于不同数据特征，实际应用中需根据数据分布选择合适的聚类方法。

2026-05-13 22:55:25 656

原创 C++虚函数详解

虚函数是C++实现多态的核心机制，它通过动态绑定让程序能根据对象的实际类型调用对应的方法，大大提高了代码的灵活性和可扩展性。基类中加virtual的函数就是虚函数，子类可以重写它。纯虚函数（=0）用来定义抽象类，强制子类实现方法。基类析构函数一定要设为虚函数，避免内存泄漏。底层靠虚表和虚指针实现动态绑定。

2026-04-25 19:08:14 434

原创 C++智能指针详解

智能指针是C++中管理动态内存的最佳实践，通过RAII机制彻底解决了手动管理内存的痛点。独占资源用unique_ptr，高效且安全共享资源用shared_ptr，配合引用计数实现自动释放循环引用用weak_ptr，作为辅助工具打破循环掌握这三种智能指针，你的C++代码会更健壮，再也不用为内存泄漏头疼啦！个人能力有限，有问题随时交流~

2026-04-25 18:36:09 379

原创 FlashAttention1：原理+伪码实现

显存占用降低3-5倍，让普通GPU也能处理更长的文本序列；计算速度提升2-4倍，减少大模型训练的时间成本；后续的FlashAttention2、FlashAttention3都是在这个基础上做的硬件级优化，但核心的分块+重计算思路没变。如果你正在做长文本大模型开发，或者觉得注意力计算太卡显存，一定要试试FlashAttention系列的实现！个人能力有限，有问题随时交流~

2026-04-23 08:06:44 495

原创显存神技：必学FlashAttention！

FlashAttention绝对是大模型训练和推理的必备技巧，它通过巧妙的分块计算和访存优化，解决了注意力机制显存占用过高的问题，同时还能提升计算速度。现在很多主流大模型框架（比如LLaMA、GPT-2的实现）都已经默认支持FlashAttention，如果你还在被显存不足困扰，赶紧把这个神技用起来！个人能力有限，有问题随时交流~

2026-04-20 21:21:59 415

原创 RMSNorm：大模型的隐秘功臣？

RMSNorm的故事其实很有意思：它没有引入复杂的数学理论，也没有颠覆式的创新，只是对现有方法做了一次"减法"——去掉了看似必要但实际冗余的步骤，却在大模型时代发挥了巨大的价值。这也给我们一个启示：在AI技术的发展中，有时候最有效的创新不是"做加法"，而是"做减法"——找到那些看似不可或缺，但实际上可以简化的环节，往往能带来意想不到的提升。从这个角度看，RMSNorm确实称得上是大模型的"隐秘功臣"：它没有站在聚光灯下，却用最简单的方式，支撑着大模型向更大、更快、更强的方向发展。

2026-04-18 23:54:15 548

原创 ROPE：大模型必学操作

泛化能力拉满：支持超长文本外推，训练短文本，推理长文本也能用计算效率高：不需要额外存储位置编码向量，推理时实时计算，节省内存相对位置感知：不仅能知道词的绝对位置，还能感知词与词之间的相对距离，更符合人类语言逻辑无缝集成：可以直接和Transformer的注意力机制融合，不用改模型的核心结构现在再回头看开头的问题，大模型之所以能区分"我爱吃苹果"和"苹果爱吃我"，就是因为ROPE给每个词加了独特的位置信息，让模型知道谁是主语谁是宾语。个人能力有限，有问题随时交流~

2026-04-18 23:42:30 413

原创 MiniCPM-o 4.5 介绍

面壁智能开源的一款 9B 参数全模态、全双工旗舰模型，能够「边看、边听、边说」，在端侧设备上也能提供接近 GPT-4o 级别的交互体验。

2026-02-27 14:42:46 692

原创 Conda + Mamba 极速安装 CUDA / NCCL 实战指南

摘要：针对Linux/服务器/Docker/GPU环境中安装CUDA、NCCL和PyTorch的常见问题，提出使用mamba替代conda作为安装器的解决方案。mamba基于C++多线程SAT求解，显著提升依赖解析速度（10-30秒完成），避免conda的Python回溯搜索导致的卡顿。推荐步骤：1) 在base环境安装mamba；2) 用mamba安装cudatoolkit和nccl；3) 通过pytorch官方channel安装PyTorch，确保CUDA/NCCL版本一致；4) 校验动态库和CUDA

2026-02-10 21:07:12 412

空空如也

空空如也