BetterBench的博客

在windows下通过pip install bnpy报错：“LINK : fatal error LNK1181: 无法打开输入文件“m.lib”ERROR: Could not build wheels for bnpy, which is required to install pyproject.toml-based projects”

跨平台开发最佳实践使用进行平台检测封装平台特定代码到独立模块维护清晰的编译参数矩阵科学计算库适配提供多路径搜索机制处理不同编译器的链接规范测试不同并行计算框架的兼容性Python生态兼容保持对旧版Python的支持维护依赖版本的语义化控制分离可选依赖与核心功能。

本文提出的算法简称为 SF（Selective Forgetting）算法，即选择性遗忘算法。这个名称来源于算法的核心目标：从深度神经网络的权重中选择性地移除特定数据子集的信息，而不影响其他数据的性能。

**Amnesiac Unlearning（遗忘性遗忘）** 是一种高效且精确的算法，旨在从已经训练好的神经网络模型中删除特定数据的学习信息，而不会显著影响模型在其他数据上的性能。该算法的核心思想是通过选择性撤销与敏感数据相关的参数更新来实现数据的“遗忘”。

本文提出了一种名为 UNSIR（Unlearning with Single Pass Impair and Repair）的机器遗忘框架，用于从深度神经网络中高效地卸载（遗忘）特定类别数据，同时保留模型对其他数据的性能。以下是算法的主要步骤：

年份：2022作者：会议：本文提出了一种基于随机条件独立海森矩阵（Hessian）的深度学习模型“遗忘”算法，通过利用条件独立系数（L-CODEC）识别与特定样本最相关的模型参数子集，并仅对这些参数进行更新，从而避免了计算整个海森矩阵的逆矩阵，实现高效且可扩展的深度模型遗忘操作。

年份：2020期刊： CPVR本文提出了一种“擦除”深度神经网络中特定训练数据信息的方法，其核心是通过修改网络权重，使得任何对权重的探测函数无法区分被“擦除”数据的网络与未包含这些数据训练的网络，关键在于利用随机梯度下降的稳定性，引入了一个可有效估计的上界来限制权重中剩余信息量，并通过优化一个包含保留信息和遗忘信息的拉格朗日函数来平衡模型准确性与遗忘效果。利用Fisher信息矩阵来近似Hessian矩阵，并添加特定分布的噪声，以实现近似遗忘。

年份：2019期刊：引用量：64本文提出了一种多模型和多级知识蒸馏策略（M2KD），通过从所有先前模型快照中直接蒸馏知识，以及重构先前模型的输出，来提高增量学习中对新类别的学习性能，同时保留对旧类别的知识，并通过辅助蒸馏进一步保留中间特征级别的知识。

年份：2024期刊：引用量：3本文介绍了MIND算法，它是一种用于类增量学习的多任务网络蒸馏方法，通过参数隔离和蒸馏技术来提升模型在新任务上的学习性能，同时保留对旧任务的记忆。MIND通过分配子网络来处理单个任务，并在子网络之间共享一部分参数以促进知识转移。MIND利用蒸馏程序将新任务训练的新模型的知识封装并压缩到子网络片段中。

本文提出了一种名为“选择性遗忘”（Selective Amnesia）的技术，它基于持续学习理念，通过结合弹性权重固化（Elastic Weight Consolidation, EWC）和生成性重放（Generative Replay, GR）方法，并引入替代目标分布，实现对预训练深度生成模型中特定概念的选择性遗忘，允许用户指定如何遗忘特定概念。

本文提出了一种“擦除”深度神经网络中特定训练数据信息的方法，其核心是通过修改网络权重，使得任何对权重的探测函数无法区分被“擦除”数据的网络与未包含这些数据训练的网络，关键在于利用随机梯度下降的稳定性，引入了一个可有效估计的上界来限制权重中剩余信息量，并通过优化一个包含保留信息和遗忘信息的拉格朗日函数来平衡模型准确性与遗忘效果。利用Fisher信息矩阵来近似Hessian矩阵，并添加特定分布的噪声，以实现近似遗忘。

本文提出了一种名为选择性突触抑制（Selective Synaptic Dampening, SSD）的机器遗忘算法，该算法通过两步过程实现：首先利用Fisher信息矩阵识别对遗忘数据集（forget set）特别重要的参数，然后根据这些参数对遗忘数据集的相对重要性，按比例抑制（dampening）这些参数，从而在保护模型在剩余数据上的性能的同时实现特定信息的遗忘。

本文提出了一种新颖的机器遗忘方法，通过在学生-教师框架中利用“合格”和“不合格”教师来选择性地传递知识给学生模型，以实现对特定数据集的遗忘，关键技术步骤包括利用KL散度优化损失函数，使得学生模型在保留相关数据信息的同时忘记被指定的数据集。

本文提出了两种从训练好的神经网络模型中删除个人数据的方法——“Unlearning”和“Amnesiac Unlearning”。其中，“Unlearning”通过给敏感数据随机分配错误标签并重新训练模型来混淆模型对敏感数据的理解；而“Amnesiac Unlearning”则通过撤销包含敏感数据的批次的参数更新来精确地从模型中移除特定数据，这两种方法都在保持模型性能的同时有效抵御了模型反转和成员资格推断攻击。

通过生成最大化误差的噪声矩阵和基于损伤-修复的权重操作来实现对特定类别数据的快速遗忘学习，关键步骤包括利用原始模型学习针对待遗忘类别的误差最大化噪声矩阵，然后通过损伤步骤使用高学习率和噪声矩阵剧烈改变模型权重以实现快速遗忘，以及通过修复步骤恢复模型整体性能，从而在保留整体模型准确性的同时实现对特定数据类别的有效遗忘。

本文主要探讨了机器遗忘的概念、分类、评价指标、应用场景、挑战和未来研究方向。首先将机器遗忘算法主要被分为精确遗忘（Exact Unlearning）和近似遗忘（Approximate Unlearning），精确遗忘分又为基于凸函数的传统模型和基于非凸函数的复杂模型，近似遗忘又分为数据驱动的近似和模型驱动的近似。机器遗忘效果的评价指标是一套综合考量遗忘操作的有效性、效率和效用的标准，包括验证数据提供者数据是否真正被遗忘的侵入性和非侵入性验证指标，以及评估模型提供者遗忘算法性能的包括重学时间、模型相似度、遗忘

本文提出了一个统一的机器遗忘工作流程，并基于此框架和威胁模型，提出了机器遗忘系统中威胁、攻击和防御的新分类法。对当前机器非遗忘中的威胁、攻击和防御进行了详细分析，并阐述了遗忘方法、攻击和防御策略之间的复杂关系。此外，讨论了机器遗忘系统中存在的漏洞，如信息泄露和恶意遗忘请求，这些导致重大的安全和隐私问题。遗忘方法和普遍的攻击在MU系统中扮演着不同的角色。例如，遗忘可以作为从后门攻击中恢复模型的机制，而后门攻击本身可以作为遗忘有效性的评估指标。这强调了这些机制在维护系统功能和安全方面的复杂关系和相互作用。

本文对机器遗忘解决方案的全面分类和分析，将现有解决方案分为精确遗忘学习（exact unlearning）方法和近似遗忘学习（approximate unlearning）方法。精确遗忘分为基于SISA框架的方法和非SISA方法，近似遗忘分为基于移除数据的影响函数、基于重新优化、基于梯度更新、特定于图数据的近似遗忘，以及基于新颖技术的近似遗忘这五个类别。精确遗忘方法通过算法级重训练彻底移除数据影响，而近似遗忘学习方法通过有效更新模型参数来最小化数据影响。论文全面回顾了这些解决方案，并识别和讨论了它们的优缺点

本文介绍了机器遗忘技术的分类、优缺点、威胁、攻击、防御机制以及评估方法。首先将机器遗忘技术分为精确遗忘和近似遗忘两大类，并对每类中的不同方法进行了详细讨论。精确遗忘技术涉及SISA结构、图模型、k-Means和联邦学习等，而近似遗忘技术则基于影响函数、重新优化、梯度更新和特定于图数据的方法。此外指出这些技术在存储、假设、模型效用、计算成本和处理动态数据方面的局限性。