- 博客(103)
- 收藏
- 关注
RSS订阅原创 RL【10-2】：Actor - Critic
本文介绍了强化学习中off-policy actor-critic方法的核心理论——重要性采样（importance sampling）。通过引入行为策略（behavior policy）β生成样本，利用重要性权重w(x)=p0(x)/p1(x)修正分布偏差，使得目标策略（target policy）π的期望估计保持无偏。文章详细推导了重要性采样的数学原理，包括期望转换、方差分析及其在强化学习中的应用，特别强调了当直接计算p0(x)期望困难时，该方法能有效利用易采样的p1分布进行近似估计。最后指出该理论为o
2025-09-14 15:42:01
761
2
原创 RL【10-1】：Actor - Critic
本文介绍了强化学习中的Actor-Critic方法，它是策略梯度方法的一种改进形式。文章首先解释了Actor和Critic的角色：Actor负责根据当前状态选择动作（策略更新），Critic则评估策略的好坏（价值估计）。随后回顾了策略梯度方法的基本原理，指出可以通过函数逼近和时序差分（TD）来估计动作值函数，从而形成Actor-Critic算法。最简单的QAC算法展示了这一过程：Critic通过TD误差更新价值函数参数，Actor则利用Critic提供的信号调整策略参数。这种方法结合了策略梯度和价值函数的优
2025-09-14 15:41:04
666
1
原创 RL【9】：Policy Gradient
强化学习策略梯度方法概述 本系列文章系统性地介绍了强化学习中的策略梯度方法。主要内容包括： 策略参数化：用参数化函数π(a|s,θ)表示策略，取代传统的表格表示法，特别适用于大规模状态空间问题 三种对比： 最优策略定义方式不同：表格法需最大化每个状态值，函数法只需优化全局标量指标 动作概率获取方式不同：表格法直接查表，函数法需计算π(a|s,θ) 策略更新方式不同：表格法直接修改表项，函数法通过调整参数θ间接更新 策略梯度核心思想： 定义目标函数J(θ)衡量策略性能 采用梯度上升法优化：θ←θ+α∇J(θ)
2025-09-12 15:00:00
887
2
原创 RL【8】：Value Function Approximation
该系列文章是B站赵世钰老师《强化学习的数学原理》课程的学习笔记，涵盖强化学习的基础概念、核心方程和算法实现。重点内容包括贝尔曼方程、最优性方程、值迭代与策略迭代、蒙特卡洛学习、随机近似与随机梯度下降，以及时序差分学习等关键方法。文章特别探讨了状态价值估计的算法，提出了两种目标函数定义方式：均匀分布（所有状态同等重要）和稳态分布（考虑状态长期出现的频率）。后者通过加权平方误差更贴合实际场景，优先优化高频访问状态的价值估计。这些数学工具为后续策略评估和改进奠定了理论基础。
2025-09-11 15:30:39
1336
2
原创 RL【7-2】：Temporal-difference Learning
本文介绍了Q-learning算法的核心原理及其与Sarsa算法的区别。Q-learning是一种off-policy强化学习算法，其更新规则为：$q_{t+1}(s_t,a_t)=(1-\alpha_t)q_t(s_t,a_t)+\alpha_t[r_{t+1}+\gamma\max_a q_t(s_{t+1},a)]$。与on-policy的Sarsa不同，Q-learning在更新时不依赖当前策略采样的动作，而是直接采用下一状态的最优动作估计。数学上，Q-learning求解的是Bellman最优方程
2025-09-10 16:26:57
401
1
原创 RL【7-1】：Temporal-difference Learning
摘要 本文介绍了基于随机逼近（Stochastic Approximation）的三种算法，用于解决不同复杂度的问题： 简单均值估计：通过迭代更新公式 $w_{k+1} = w_k - \alpha_k (w_k - x_k)$ 估计随机变量 $X$ 的期望 $\mathbb{E}[X]$，利用样本逐步修正估计值。 函数期望估计：扩展至估计函数 $v(X)$ 的期望 $\mathbb{E}[v(X)]$，更新公式为 $w_{k+1} = w_k - \alpha_k [w_k - v(x_k)]$，通过样本
2025-09-10 16:26:39
963
1
原创 RL【6】：Stochastic Approximation and Stochastic Gradient Descent
摘要 本文介绍了Robbins-Monro算法和随机梯度下降法。Robbins-Monro算法用于求解方程g(w)=0的根，通过迭代公式w_{k+1}=w_k-a_k\tilde{g}(w_k,η_k)实现，在满足单调性、步长条件等假设下保证收敛。该算法可转化为优化问题，如最小化目标函数J(w)。随机梯度下降法用于优化E[f(w,X)]，相比梯度下降和批量梯度下降，它通过单样本或小批量样本来估计梯度，计算效率更高但需要满足适当收敛条件。两种方法都采用了随机近似思想，在强化学习中具有重要应用价值。
2025-09-09 14:54:00
600
2
原创 RL【5】：Monte Carlo Learning
本文基于赵世钰老师的强化学习课程，介绍如何利用Monte Carlo方法实现无模型(model-free)强化学习。传统策略迭代算法依赖环境模型（状态转移和奖励分布），而MC Basic通过采样轨迹数据直接估计动作价值函数$q_{\pi_k}(s,a)$，无需已知模型。具体步骤包括：1) 策略评估阶段，通过多次采样轨迹求回报平均值来近似$q_{\pi_k}$；2) 策略改进阶段，采用贪婪策略选择最优动作。该方法通过数据替代模型，适用于真实场景中环境动态未知的情况（如游戏、机器人控制等）。核心思想是利用
2025-09-09 11:18:47
1232
1
原创 RL【4】：Value Iteration and Policy Iteration
摘要 本文介绍了强化学习中的值迭代算法（Value Iteration Algorithm），用于求解Bellman最优方程。该算法基于压缩映射定理，通过迭代计算逐步逼近最优值函数和最优策略。值迭代分为两个步骤：1) 策略更新，基于当前值函数选择贪心策略；2) 值更新，根据新策略更新状态值。算法核心思路是：计算动作值函数→选择最大Q值动作作为策略→更新状态值为最大Q值→重复直至收敛。这种方法能保证最终找到最优状态值和最优策略，适用于已知环境概率模型的情况。
2025-09-08 15:00:00
1065
2
原创 RL【3】：Bellman Optimality Equation
强化学习数学原理笔记：最优策略与贝尔曼最优性方程 本文总结了强化学习中关于最优策略和贝尔曼最优性方程的关键数学原理： 最优策略定义：策略π是最优的当且仅当对所有状态s和所有其他策略π，都有v_π(s) ≥ v_π(s)。 贝尔曼最优性方程： 元素形式：v(s) = max_π Σπ(a|s)[Σp(r|s,a)r + γΣp(s'|s,a)v(s')] 矩阵形式：v = max_π(r_π + γP_πv) 关键洞见： 普通贝尔曼方程用于评估固定策略 最优性方程通过max_π操作在所有可能策略中寻找最优解
2025-09-05 15:30:00
1173
2
原创 RL【2】：Bellman Equation
本笔记系统梳理了强化学习中 状态价值函数 (State Value) 与 动作价值函数 (Action Value) 的定义、推导与关系，说明了它们如何通过 Bellman 方程 建立递归联系，其中状态价值刻画“状态好坏的长期期望回报”，而动作价值进一步细化到“在状态下采取某动作的期望回报”，二者互为桥梁，共同构成强化学习理论的核心基础。
2025-09-03 15:30:00
1964
1
原创 RL【1】：Basic Concepts
本系列文章整理自赵世钰老师的强化学习数学原理课程笔记，系统介绍了强化学习的基础概念和马尔可夫决策过程。主要内容包括：状态与状态空间、动作空间、策略、奖励函数、轨迹与回报、折扣率、分幕式与连续任务等核心概念；并详细阐述了马尔可夫决策过程（MDP）的数学形式化定义，包括状态转移概率、奖励概率、策略函数和马尔可夫性质。这些概念为后续强化学习算法的理解奠定了理论基础。
2025-09-02 14:00:00
798
1
原创 M-VLM【3】：Patho-R1: A Multimodal Reinforcement Learning-Based Pathology Expert Reasoner
本文提出Patho-R1，一个基于多模态强化学习的病理学推理模型，旨在解决现有视觉-语言模型在病理诊断中的推理局限。研究构建了350万图文对的预训练数据集和50万条链式思维数据，通过三阶段训练（预训练、监督微调、强化学习）提升模型性能。实验表明，Patho-R1在零样本分类、跨模态检索、视觉问答等任务上表现优异，其推理质量显著优于现有方法。该方法首次将强化学习策略引入病理学推理，为临床AI应用提供了新思路。
2025-09-01 15:30:00
2342
2
原创 M-VLM【2】：Evidence-based diagnostic reasoning with multi-agent copilot for human pathology
本文提出了一种基于多智能体协同的病理诊断系统PathChat+与SlideSeek，通过整合多模态大语言模型和自主推理能力，显著提升了计算病理学的诊断水平。PathChat+在超过100万条病理学指令数据上训练，支持多图像输入和高分辨率切片处理，在多项病理学基准测试中优于现有模型。SlideSeek系统采用多智能体架构，通过监督代理、探索代理和报告代理的协同工作，实现了对全视野切片的自主导航和分层诊断，在DDxBench基准测试中达到80%的主诊断准确率。该系统能够生成可解释的诊断报告，为病理诊断提供了智能
2025-08-31 10:49:30
1500
2
原创 M-VLM【1】：Multi-Resolution Pathology-Language Pre-training Model with Text-Guided Visual Representati
本文提出了一种多分辨率病理学-语言预训练模型（MR-PLIP），通过整合全切片图像（WSI）的多分辨率视觉特征与文本描述，显著提升了计算病理学的分析能力。传统视觉-语言模型（VLM）仅关注单一分辨率，而MR-PLIP创新性地在5×、10×、20×、40×四个放大层级构建3400万个图像-文本对，并建立跨分辨率视觉-文本对齐（CVTA）。该模型采用层次化表征优化策略，通过Top-k₀关键词筛选机制消除噪声，利用对比损失函数增强多分辨率特征的一致性。在TCGA数据集预训练后，MR-PLIP在26个公开数据集的癌
2025-08-29 12:35:30
1224
1
原创 Work【3】：TRIG —— 解码多维度权衡，重塑生成模型评测与优化新范式！
本文介绍了ICCV 2025论文《Trade-offs in Image Generation: How Do Different Dimensions Interact?》，提出TRIG-Bench基准和TRIGScore评估方法。该研究针对文本生成图像（T2I）和图像生成图像（I2I）任务，系统分析了10个评估维度（如真实感、原创性、美学等）之间的132种权衡关系。TRIG-Bench包含40,200个样本，通过成对维度子集设计实现细粒度评估。创新的TRIGScore利用视觉语言模型进行维度独立评分，并
2025-08-12 19:07:11
1383
2
原创 Work【2】：PGP-SAM —— 无需额外提示的自动化 SAM！
和大家分享一下我们发表在ISBI 2025上的论文：。代码已经开源！！！期待您的 Star！！！PGP-SAMSegment Anything Model (SAM) 展现了强大且多功能的图像分割能力，并支持直观的提示交互。然而，将SAM定制应用于医学图像分割需要大量像素级标注和精确的点/框提示设计。为解决这些挑战，我们提出了PGP-SAM——一种基于原型的新型少样本调优方法，通过有限样本替代繁琐的手动提示设计。核心思想是利用类间和类内原型捕获类别特异性知识与关联关系。
2025-03-14 15:44:35
2338
2
原创 Diffusion【4】：DDIM
DDPM 在生成高分辨率图像的时候，需要的时间太长。DDIM 省去了其中一些不必要的步骤，实现生成速度的大幅度提升。本文主要侧重于对论文的翻译和部分解读，希望能粗略的带大家理解本文具体做了一个什么事情。若想理解每一步数学公式的推导建议仔细阅读苏剑林老师的博客。苏神博客**去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPMs）**是一类强大的生成模型，其构造基于正向的扩散过程和对应的反向去噪过程。
2024-11-24 10:45:00
1617
2
原创 Diffusion【3】：DDPM
DDPM 可以说是高分辨率图像生成的一个开端。本文主要侧重于对论文的翻译和部分解读，希望能粗略的带大家理解本文具体做了一个什么事情。若想理解每一步数学公式的推导建议仔细阅读苏剑林老师的博客。原论文链接：Denoising Diffusion Probabilistic Models原论文链接：苏神博客本文提出了一种称为 去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPM）的新型生成模型。这种模型通过一系列添加高斯噪声的步骤逐渐破坏训练数据，并通过
2024-11-23 11:00:00
1177
1
原创 Diffusion【2】：VQ-VAE
VQ-VAE 在最近的许多生成模型中都有相关的应用，针对自回归模型的固有毛病，VQ-VAE 提出的解决方案是：先降维，然后再对编码向量用 PixelCNN 建模。本文主要侧重于对论文的翻译和部分解读，希望能粗略的带大家理解本文具体做了一个什么事情。若想理解每一步数学公式的推导建议仔细阅读苏剑林老师的博客。苏神博客问题背景在无监督学习中，获得“有用的表示”一直是一个关键问题。生成模型需要在学习数据的潜在结构（latent structure）的同时生成高质量样本。
2024-11-22 10:30:00
1433
1
原创 Diffusion【1】：VAE
VAE 可以说是最近大热的生成模型的重要基石。本文侧重对论文内容的翻译和一定程度上的解释。若想完全弄懂 VAE 的具体流程和数学公式推导，建议大家移步苏剑林老师的博客。苏神博客本文主要探讨了在概率模型中处理潜在变量推断的难点。后验分布的不可解性：当模型的后验分布无法通过解析或简单的数值方法计算时，标准方法如期望最大化（EM）或常规变分贝叶斯方法可能无法适用。大规模数据处理：面对大规模数据集时，传统的批量优化或采样方法（如MCMC）变得计算代价高昂。为了解决上述问题，作者提出了。
2024-11-21 10:01:17
613
1
原创 Detectron2 安装指南
Detectron2 是 Meta AI 的一个机器视觉相关的库，建立在 Detectron 和 maskrcnn-benchmark 基础之上，可以进行目标检测、语义分割、全景分割，以及人体体姿骨干的识别。许多优秀的项目都基于这个库实现，如果想要复现或者在此基础上修改，就需要先成功安装 Detectron2。本文是作者成功在自己服务器上安装的一次示范，有需要的朋友参考这个示范在自己的服务器上进行尝试。
2024-08-15 15:50:48
2821
3
原创 Work【1】：SDSeg——基于Stable Diffusion的单步扩散分割！
本文提出了 SDSeg，一个利用稳定扩散进行医学图像分割的新颖高效框架。我们引入了一种潜在估计策略，实现了单步潜在预测，从而消除了多步逆向过程的需求。模型采用串联潜在融合，将学习到的图像潜在有效地引导分割任务。此外，可训练的视觉编码器增强了模型学习图像特征并适应多样化图像模态的能力。SDSeg 在五个分割数据集上实现了最先进的性能，显著减少了训练资源需求，加速了推理过程，并保持了卓越的稳定性。
2024-07-15 12:45:23
2775
4
原创 服务器非 root情况下安装 ffmpeg
最近在实验室公用的服务器上配置环境的时候需要 ffmpeg 这个库，但是没有办法使用 sudo，同时也没有办法直接使用 pip 进行下载。为此记录一下从源代码编译的方法。
2024-05-19 10:59:38
1590
2
原创 Loss【1】：Focal Loss
类别不平衡是一个在目标检测领域被广泛讨论的问题，因为目标数量的多少在数据集中能很直观的体现。同时，在分割中这也是一个值得关注的问题，毕竟分割的本质是对像素进行分类。而处理类别不平衡一个非差常用的方法就是通过Focal Loss来引导模型更关注困难的类。Focal Loss是在标准交叉熵损失基础上修改得到的。相比它增加了容易和难分样本的权重，对于难分的样本增加权重，增加 loss 的贡献度；减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。Focal Loss。
2024-04-02 15:44:55
2270
1
原创 深度学习环境指南【1】：Nvidia 驱动
本文作为深度学习环境指南系列的第一篇文章，主要讲解当你第一次拿到显卡完成装机后需要做的步骤，或者是显卡驱动不合适需要升级更新时需要执行的步骤。方法不完全，需要大家自己多尝试。Good Luck！
2024-02-03 21:14:05
5029
2
原创 FS【2】：CAT-Net
本文来自港科陈浩老师组发表在 MICCAI23 上的一篇有关 few-shot 在医学图像上的应用。方法简洁高效，可供参考。插一句题外话，医学图像做 few-shot 主要基于腹部器官的 3 个数据集，期待后续可以见到一些在更多数据集上更通用更有效的方法。本文提出了一种基于交叉掩码注意力的少样本医学图像分割新框架CAT-Net通过挖掘support和query图像之间的相关性，并限制模型仅关注有用的前景信息，来提高support和query特征的表达能力。
2024-02-03 12:00:00
1252
1
原创 MSA【5】：SAM-Med2D
由于医学图像和自然图像之间存在较大差异，以及缺少大规模医学图像基准数据集，这是导致AI在医学领域进展缓慢的原因之一。构建大规模基准数据集和可靠的基线模型，能够推动AI在医疗领域的快速发展，加速医疗向更通用的方向转变。上海 AI-Lab 提出了 SAM-Med2D，标志着大模型在医学图像分割的里程碑。SAM-Med2DSAM-Med2D：打破自然图像与医学图像的领域鸿沟，医疗版 SAM 开源了！SAM-Med2D构建了一个涵盖各种模式和对象的大规模医学图像分割数据集。
2024-01-26 11:47:35
1889
2
原创 FS【1】：SSP
这是一篇发表在 ECCV 2022 上的论文，对后续的许多 few-shot 方法都有着一定的启发作用。ECCV 2022 | SSP: 自支持匹配的小样本任务新思想现有的 few-shot 分割方法严重受限于所提供的少数几张照片支持对类内变化的覆盖范围。为此，本文提出了一种新颖的自支持匹配策略来缓解这一问题，该策略使用查询原型来匹配查询特征，其中查询原型是从高置信度查询预测中收集的。这种策略能有效捕捉查询对象一致的基本特征，从而恰当地匹配查询特征。
2024-01-10 17:39:35
1256
2
原创 MSA【4】：DeSAM
基于深度学习的自动医学图像分割模型经常会出现领域偏移的问题，即在源领域训练的模型不能很好地泛化到其他未见领域。为此本文提出 DeSAM，通过解耦 image embedding 和 prompt token 来提高 SAM 的效果基于深度学习的自动医学图像分割模型经常会出现领域偏移的问题，即在源领域训练的模型不能很好地泛化到其他未见领域Segment Anything Model（SAM）在提高医学图像分割的跨域鲁棒性方面展现出了潜力。然而，与人工提示相比，SAM。
2023-12-21 20:35:15
1358
2
原创 MSA【3】：SAMed
SAMed是基于大规模图像分割模型 Segment Anything Model (SAM) 构建的，旨在探索将大规模模型定制化应用于医学图像分割的新研究范式本文提出了医学图像分割的通用解决方案SAMed对SAM图像编码器采用基于低秩的微调策略（LoRA），并在标注的医学图像分割数据集上对其与提示编码器和掩码解码器一起进行微调Warmup微调策略和AdamW优化器使SAMed成功收敛并降低了损失与SAM不同，SAMed可以对医学图像进行语义分割。
2023-12-19 16:40:57
2433
1
原创 SAM【2】：Personalize-SAM
PerSAM作为一种无需训练的的个性化方法，仅使用一次性数据，即用户提供的图像和粗略的掩码来高效地定制SAM。但同时，PerSAM更像是一种对高效选择 prompt 的尝试，而并非对SAM进行微调，如果想要将PerSAM应用在自然图像以外的数据集中，可能不会是一个好的选择。尽管SAM具有通用性，但针对特定视觉概念定制SAM而无需人工提示的问题仍有待探索。本文为SAM提出了一种无需训练的个性化方法，称为PerSAM。在只给定一张带有参考掩码的图像的情况下，PerSAM首先通过位置先验（
2023-07-24 11:00:00
1342
4
原创 MSA【2】：Medical SAM Adapter
随着研究的深入，SAM被拓展到医学图像分割领域。但研究表明，直接将SAM用于医学图像分割，效果非常差。但医疗数据难以获取以及高昂的注释成本迫切的需要一个基础模型来打卡局面，不仅仅在图像分割层面，更是在数据注释方面。本文介绍了第一个将Adaption微调方法用于SAM的模型，该模型在 19 个数据集上都取得了惊人的效果。这为后续SAM的研究和 fine-tune 工作，提供了一个有效的参考和指导。最近的许多评测任务表明，SAM一个自然的问题是，如何将SAM。
2023-07-21 12:00:00
1913
1
原创 MSA【1】：Segment Anything Model for Medical Image Analysis: an Experimental Study
本文主要介绍了 Segment Anything Model 在自然图像分割领域取得显著成就后，较早的将 SAM 在医学图像领域做评测的工作。是一个在超过 10 亿个注释（主要是自然图像）上训练的基础模型，旨在以交互方式分割用户定义的感兴趣对象。尽管该模型在自然图像上的表现令人印象深刻，但目前尚不清楚该模型在转向医学图像领域时会受到怎样的影响。本文对SAM分割医学图像的能力进行了广泛的评估，评估对象包括来自不同模式和解剖学的 11 个医学影像数据集。研究表明，SAM。
2023-07-17 19:24:36
1304
2
原创 SAM【1】：Segment Anything
Segment Anthing 是 Meta 开源的第一个分割大模型，最近在 CV 领域掀起了一阵大模型热潮。短短几天时间内，各种二创、测评层出不穷。同时，Meta 公布了模型的Demo，让研究人员可以抢先体验SAM的神奇和强大之处。视觉大模型与自然语言大模型类似，它的主要目的是通过一个模型来解决用户的所有问题。受制于图像数据更广泛的图片类型和任务，目前 SAM 主要解决的是最传统也是应用最广泛的分割任务。SAM。
2023-06-25 08:59:49
1658
2
原创 图像预处理 Tricks【1】：Contours
轮廓可以简单地理解为连接所有连续点（沿物体边界）的曲线，这些点通常具有相同的颜色或强度。轮廓在图像分析中具有重要意义，是物体形状分析和对象检测和识别的有用工具，是理解图像语义信息的重要依据。本文主要介绍了在 opencv 中，一些重要的用于处理物体轮廓的方法。函数是 OpenCV 库的一部分，它被广泛用于计算机视觉任务。这个函数用于检测和寻找图像中的轮廓（边界）。通常，为了提高物体轮廓检测的准确率，首先要将彩色图像或者灰度图像处理成二值图像（灰度图）或者使用Canny。
2023-06-24 00:52:26
1504
1
原创 Parser 使用方法
本文主要记录了在深度学习中，使用别人写的代码时，用来接收用户在命令行里指定传入模型参数的重要方法parser同时，本文也给出了简易的示例，方便读者快速开始（只想了解如何使用的话可以直接跳到3. 使用方法和4. 示例一份简单的使用说明参考文档参考博客。
2023-05-01 15:48:25
6369
1
原创 Tossim 教程
本文主要用于记录在 WSN 课程中，配置大作业所需使用的 Tossim 仿真工具是TinyOS自带的一个仿真工具，可以支持大规模的网络仿真。由于TOSSIM运行和传感器硬件相同的代码，所以仿真编译器能直接从TinyOS应用的组件表编译仿真程序。通过替换TinyOS下层部分硬件相关的组件，TOSSIM把硬件中断换成离散仿真事件，由仿真器事件抛出的中断来驱动上层应用，其他的TinyOS组件尤其是上层的应用组件都无须更改。Tossim是一个库，你必须写程序配置仿真运行，TOSSIMPython和C++
2023-04-23 14:34:10
2299
2
原创 ML【3】：FPGroth Tree 算法
在Apriori算法原理总结中，我们对Apriori算法的原理做了总结。作为一个挖掘频繁项集的算法，Apriori算法需要多次扫描数据，I/O 是很大的瓶颈。为了解决这个问题，FP Tree算法（也称FP Growth算法）采用了一些技巧，无论多少数据，只需要扫描两次数据集，因此提高了算法运行的效率有关AprioriML【2】：Apriori 算法FP-growth算法的优点是它不需要生成候选项集，因此可以避免Apriori算法中的大量重复计算。另外，由于FP树的压缩性质，FP-growth。
2023-03-31 19:50:05
584
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人