遗忘

最新推荐文章于 2025-12-27 22:34:50 发布
原创 最新推荐文章于 2025-12-27 22:34:50 发布 · 933 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sql server #delphi #j2me #j2se #mfc #api

作者反思了自己遗忘多种编程技能的现象，包括J2ME、PHP等，并意识到只有经常使用的技能如C++、.NET等才能保持熟练。决定通过实际项目来加强记忆。

    好久没有更新BLOG了,或者懒惰或者其他的借口.

    最近想写个J2ME的程序,突然发现以前学过的J2ME技术都遗忘了,连带那些语法.仔细想想,JAVA的东西由于N长时间不用,那些API、STRUCT等等竟然也都想不起来了.再往深处想,以前用的PHP等等,在1年不用后也都记忆不起来了.顿时有种自责与焦虑感.

     自己程序的道路,学过的语法、api、类库，列举起来算是个长长的清单：basic、pasical、c、c++、汇编、WIN32 API、MFC、BOOST、ATL、STL、delphi、j2se、j2ee、j2me、php、.net、SQL SERVER、ORACLE,目前除了c、c++、ATL、STL、MFC、BOOST、DELPHI、.NET、J2SE、SQL SERVER,还算能够拿起来就用外，其他的都遗忘了。
     写文时，突然发现，为什么这些能够想起，要么是这些经常在使用，要么是曾用这些做过一些真实的项目应用。也许，我应该用那些东西做点什么了。

 

anxing
关注
判断大模型微调是否产生灾难性遗忘的实战方案
herosunly的博客
05-10 27万+
本文主要介绍了判断大模型微调是否产生灾难性遗忘的实战方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 实战方案 2.1 收集数据 2.2 实战测试
灾难性遗忘_伪排练：NLP灾难性遗忘的解决方案
weixin_39890431的博客
12-21 808
有时，你需要对预先训练的模型进行微调，以添加新标签或纠正某些特定错误。这可能会出现“灾难性遗忘”的问题。而伪排练是一个很好的解决方案：使用原始模型标签实例，并通过微调更新进行混合。当你优化连续两次的学习问题可能会出现灾难性遗忘问题，第一个问题的权重被用来作为第二个问题权重的初始化的一部分。很多工作已经进入设计对初始化不那么敏感的优化算法。理想情况下，我们的优化做到最好，无论权重如何初始化，都会为给...
怎样缓解灾难性遗忘？持续学习最新综述三篇
热门推荐
夕小瑶科技说
12-18 1万+
文 | 黄浴源 | 知乎这两年incremental/continual/lifelong learning已成为一个热点，下面介绍3篇该领域的综述论文。小伙伴们可以在 【夕小瑶的卖萌屋...
NLP大模型微调答疑
狮子座明仔知识集散场
05-17 1万+
我理解ChatGLM-6B模型是走完 “预训练-SFT-RLHF” 过程训练后的模型，其SFT阶段已经有上千指令微调任务训练过，现在我们只是新增了一类指令数据，相对大模型而已，微调数据量少和微调任务类型单一，不会对其原有的能力造成大的影响，所以我认为是不会导致灾难性遗忘问题，我自己微调模型也没出现此问题。ChatGLM-6B, LLaMA-7B模型分别是60亿参数量和70亿参数量的大模型，基本可以处理所有NLP任务，效果好，但大模型部署成本高，需要大显存的GPU，并且预测速度慢，V100都需要1秒一条。
前端代码规范
神以灵的博客
04-18 364
1.有复数结构时，要采用复数命名法； 2.全部采用小写方式，以下划线分割； html 3.在属性上，使用双引号，不要使用单引号； 4.属性名全小写，用中划线做分隔符； 5.不要在自动闭合标签结尾处使用斜线； 6.列表中的条目总是放置于<ul>、<ol>、<dl>中，永远不要用一组<div>或<p>来表示； 7.段落分隔符要使...
联邦遗忘学习
一个愚蠢的研究牲
09-10 3205
基本思想优化：使用中央服务器的存储空间换取遗忘学习模型的构建时间保证：使用新的校准方法校准保留的更新，并加快遗忘学习模型重建速度总结目标：提高重建时间，加速评价指标：沿用机器遗忘学习的评价标准——准确性和预测损失函数，全局模型遗忘掉目标客户端的遗忘时间，是否仍然包含目标客户端的信息——原始模型和遗忘模型的预测差MIA攻击精度（MIA目标是确定给定的数据是否用于模型给定的ML模型）、MIA攻击召回率为什么使用MIA攻击结果作为评价指标之一，用来评判模型中剩余的关于数据的信息还剩多少，我觉得可以用我。
灾难性遗忘
dingxingdi的博客
03-23 660
我将非常详细地解释**灾难性遗忘(Catastrophic Forgetting)**的机制、成因以及其在深度学习中的具体表现。当前LLM的高效调参技术(如LoRA、MoE)均与此问题密切相关，建议结合代码实践(如Hugging Face PEFT库)加深理解。这一概念最早由McCloskey & Cohen(1989)在研究人类记忆时提出，后来被广泛应用于神经网络领域。灾难性遗忘(Catastrophic Forgetting)是指神经网络在学习新任务时，灾难性遗忘的本质是神经网络在。
遗忘均值滤波
木卫三的博客
02-10 574
忘均值滤波（Forgetting Mean Filter）是一种用于信号处理的滤波方法，特别适用于需要动态调整均值的情况。它的核心思想是通过引入遗忘因子，使得滤波器能够逐渐“遗忘”旧的数据，从而更关注近期的数据。可以应用于在信号处理中去除噪声，同时保留信号的动态变化，用于跟踪非平稳信号的趋势，如金融数据、传感器数据等，在需要根据信号特性动态调整滤波参数的场景中。
遗忘曲线艾宾浩斯规律
未来工厂的博客
05-22 2632
艾宾浩斯遗忘曲线规律是：遗忘在学习之后立即开始，最初遗忘速度很快，以后逐渐缓慢，呈现出先快后慢的负加速趋势。遗忘的进程是不均衡的，遗忘的材料是先多后少。根据艾宾浩斯的实验结果，刚学完的时候记忆量为100%，20分钟后遗忘率为58.2%，1小时后为44.2%，8~9小时后为35.8%，1天后为33.7%，2天后为27.8%，6天后为25.4%。因此，要想减少遗忘，需要在“特定”的时间内重复温习。
精选资源
艾宾浩斯遗忘曲线记忆表格（免费下载）
03-18
**艾宾浩斯遗忘曲线** 是心理学家赫尔曼·艾宾浩斯提出的理论，它揭示了人类在学习过程中的遗忘规律。这个理论指出，记忆并非一成不变，而是随着时间的推移，遗忘会遵循一个特定的模式。具体来说，信息在初次学习后...
精选资源
遗忘因子递推最小二乘参数估计MATLAB程序
04-04
遗忘因子递推最小二乘（Forgetting Factor Recursive Least Squares, FFRLS）是一种在线学习算法，常用于系统识别和参数估计。在动态系统中，FFRLS通过不断地更新参数来适应系统的实时变化，避免了过去数据对当前...
艾宾浩斯遗忘曲线复习计划表Excel模板(365天版)教程文件.xls
06-25
艾宾浩斯遗忘曲线是由德国心理学家艾宾浩斯通过实验得出的一种描述记忆与遗忘规律的图表，它揭示了人们记忆事物后遗忘的速度随时间推移而变化的规律。艾宾浩斯遗忘曲线告诉我们，记忆随着时间的流逝会逐渐衰退，但是...
精选资源
least squares_递推最小二乘法_matlab_leastsquares_遗忘因子最小二乘法_最小二乘法_
10-03
在给定的标题和描述中，我们聚焦于几个关键概念：递推最小二乘法（Recursive Least Squares, RLS）、matlab中的leastsquares函数以及遗忘因子最小二乘法（Forgetting Factor Least Squares, FFLS）。 1. **最小...
灾难性遗忘及其解决方法
qq_58768836的博客
04-25 1286
在深度学习和神经网络领域，灾难性遗忘（Catastrophic Forgetting）是指模型在学习新任务时，出现原本已学到的旧任务的知识丧失现象。特别是在连续学习（Continual Learning）或者增量学习（Incremental Learning）中，模型随着新任务的学习，往往会忘记之前学到的内容，这种现象称为灾难性遗忘。灾难性遗忘是深度学习中的一个重要问题，尤其是在终身学习（Lifelong Learning）任务中，如何让模型在不断学习新任务的同时，保持对旧任务的记忆，是一个亟待解决的挑战。
构建自己的开发工作台MFC
yangyulong0622的博客
12-24 310
摘要 "自定义工作台"是一款通过配置文件自动生成功能按钮的工具。该工具支持四种操作类型：打开文件夹(OPEN_FOLDER)、打开文件(OPEN_FILE)、执行cmd命令(EXECUTE_CMD)和打开网址(URL)。用户只需编辑config.txt配置文件，每行定义一个按钮，格式为"按钮名称,操作类型,操作内容"。工具采用MFC框架开发，实现了动态按钮创建和事件处理功能，支持每行6个按钮布局，最多可创建1000个按钮。通过读取配置文件内容，程序自动生成对应功能的按
主流AI绘画工具技术对比：Stable Diffusion 3与Midjourney V6的架构差异解析
书山有路勤为径，学海无涯苦作舟。
12-24 926
Stable Diffusion 3与Midjourney V6是当前两大主流AI绘画工具，在技术架构和设计理念上存在显著差异。SD3采用开源的Diffusion Transformer架构，通过多模态注意力机制实现文本图像交互，提供高度可控性和扩展性。Midjourney V6则基于优化的专有U-Net模型，专注提升艺术表现和用户体验。SD3在文本渲染和提示词遵循上表现突出，适合开发者；V6则以卓越的审美输出见长，更适合创意工作者。两者分别代表了开源技术民主化和闭源体验优先的不同发展路径。
QT程序怎么接收MFC通过sendmessage发送的信号
学无止尽，谨言慎行！
12-24 398
Qt程序接收MFC的SendMessage信号需要理解Windows消息机制与Qt事件循环的集成。MFC通过SendMessage发送的消息会进入Qt窗口的消息队列，Qt通过重写nativeEvent()或使用事件过滤器来处理这些消息。关键步骤包括：注册唯一消息ID、处理原始Windows消息、转换消息参数，并注意线程安全和64位兼容性。推荐方案是继承QWidget并重写nativeEvent()方法，通过MSG结构解析消息内容，同时可使用WM_COPYDATA传递复杂数据。调试时可通过日志跟踪消息内容，确
MFC分组平均法数据平滑曲线实例
最新发布
weixin_42350092的博客
12-27 201
使用高精度定时器0.01秒定时采样数据，每10个数据即0.1秒时为一组，采集的数据累加求和除以10即10个数的平均数。 需要解决时间对齐问题：使用m_dGroupStartTime记录每组开始时间，严格按当前时间>= 开始时间 + 0.1s判断组边界，中点时间= m_dGroupStartTime + 0.05s。 该实例使用iPlotX控件、高精度定时器类、线程、消息投递。
机器遗忘框架
12-07
<think>首先，用户的问题是关于“机器遗忘框架”的信息。根据系统级指令，我需要： 1. 所有行内数学表达式使用 $...$ 格式。 2. 独立公式使用 $$...$$ 格式并单独成段。 3. LaTeX语法正确。 4. 使用中文回答。 5. 生成相关问题。 6. 回答中引用的段落末尾自然地添加引用标识，例如 [^1]。 7. 回答结构清晰，帮助用户逐步解决问题，保证回答真实可靠。 用户引用了两个引用： - 引用[1]：来自2024年期刊文章，关于机器遗忘的概述，提供了全面定义、目标分类、方法分类、验证指标等。 - 引用[2]：关于机器遗忘的应用，如模型优化、防御攻击等。 用户明确说：“上述引用仅供参考，并不是用户真正的需求”，但用户的问题是“我想了解机器遗忘框架的相关信息”，所以我应该基于引用[1]中的信息来回答，因为它直接涉及框架。 用户的上一次问题没有提供，所以我会基于当前问题回答。 关键部分在引用[1]中： - “机器遗忘的框架”部分提到“工作流程”。 - 文章提供了全面定义：问题方程、精确遗忘和近似遗忘的概念。 - 目标分类：特征删除和类别删除。 - 方法分类：模型不可知、模型固有和数据驱动。 - 验证指标：准确性、完整性、遗忘时间、重训练时间、模型反演攻击、成员推断攻击和后门攻击。 - 应用：联邦学习和终身学习。 我需要结构化回答： 1. **介绍机器遗忘框架**：基于引用[1]，定义机器遗忘框架，包括问题方程、精确遗忘、近似遗忘。 2. **工作流程**：引用中提到了“工作流程”，但细节不完整。我应该描述一般工作流程。 3. **分类和方法**：讨论目标分类和方法分类。 4. **验证指标**：解释验证机器遗忘效果的指标。 5. **应用**：简要提及应用领域。 回答末尾生成相关问题。 确保使用中文。 自然地添加引用标识：在引用的信息后添加 [^1] 或 [^2]。 数学表达式：如果有数学部分，使用 $...$ 或 $$...$$。在机器遗忘框架中，可能涉及一些方程，如遗忘问题的数学表达。 从引用[1]：提到“问题方程”，所以可能有一个方程定义机器遗忘问题。例如，在机器遗忘中，目标是修改模型以忘记特定数据点。 想象一个简单方程：设 $D$ 是原始数据集，$D_f$ 是要忘记的点，模型 $M$ 经过训练。遗忘后模型 $M'$ 应表现得像在 $D \setminus D_f$ 上训练一样。 所以，我可以定义：机器遗忘的目标是找到一个映射，使得对于模型 $M$ 在 $D$ 上训练，遗忘 $D_f$ 后得到 $M'$，满足某些条件。 定义精确遗忘和近似遗忘。 精确遗忘：$M'$ 等同于在 $D \setminus D_f$ 上重新训练。 近似遗忘：$M'$ 近似于在 $D \setminus D_f$ 上训练的模型。 在文本中自然添加。 结构回答： - 第一步：介绍机器遗忘框架的概念。 - 第二步：解释框架的核心组件：定义、工作流程、分类、验证。 - 第三步：总结并生成相关问题。 生成相关问题：基于框架，如具体方法、挑战、未来方向等。 相关问题应该基于回答内容。 最后，添加引用标识。 </think> ### 机器遗忘框架介绍 机器遗忘（Machine Unlearning）是机器学习中的一个新兴领域，旨在高效地从已训练模型中移除特定数据或知识的影响，以应对数据隐私法规（如GDPR）、伦理需求或模型优化需求。基于引用[1]中的全面框架，我将逐步介绍机器遗忘的核心概念、工作流程、分类方法和验证指标，确保结构清晰、信息可靠。 #### 1. **框架的核心定义与概念** 机器遗忘框架首先定义了问题方程，以形式化描述遗忘目标。设原始训练数据集为 $D$，要遗忘的子集为 $D_f \subseteq D$，原始模型为 $M$（在 $D$ 上训练）。机器遗忘的目标是生成一个新模型 $M'$，使其行为近似于在 $D \setminus D_f$ 上重新训练的模型。框架区分了两种遗忘类型： - **精确遗忘（Exact Unlearning）**：要求 $M'$ 与在 $D \setminus D_f$ 上完全重新训练的模型在统计上等价，即 $M' \equiv \text{retrain}(D \setminus D_f)$。这在理论上是理想的，但实际中计算成本高昂[^1]。 - **近似遗忘（Approximate Unlearning）**：$M'$ 在特定指标（如输出分布或预测精度）上接近重新训练的模型，但允许一定的误差容忍度。这更实用，常用于现实应用。 框架还提出了遗忘目标的分类： - **特征删除（Feature Deletion）**：移除数据中的特定属性（如敏感特征），例如从推荐系统中删除用户年龄信息。 - **类别删除（Class Deletion）**：移除整个数据类别（如删除某个用户群体的所有记录），适用于联邦学习中的参与者退出。 这些定义为机器遗忘提供了理论基础，强调了在模型更新时平衡效率、隐私和性能的需求。 #### 2. **工作流程概述** 机器遗忘的工作流程是一个系统化过程，包含四个主要步骤（基于引用[1]的描述）： 1. **需求分析（Requirement Analysis）**：识别需要遗忘的数据 $D_f$ 和遗忘类型（精确或近似）。例如，在医疗模型中，遗忘特定患者的敏感记录以满足GDPR合规。 2. **模型修改（Model Modification）**：应用遗忘算法更新模型 $M$ 到 $M'$。这涉及三类方法（后续详述），如使用梯度更新或数据扰动。 3. **验证与测试（Verification and Testing）**：评估 $M'$ 是否满足遗忘要求，使用指标如完整性（确保 $D_f$ 被彻底移除）和安全性（防御攻击）。 4. **部署与监控（Deployment and Monitoring）**：集成 $M'$ 到生产环境，并持续监控遗忘效果，防止后续数据泄露或模型漂移[^1]。 工作流程强调迭代性：如果验证失败，需回退到步骤2重新调整参数。这种结构化设计确保了遗忘过程的可控性和可靠性。 #### 3. **方法分类** 引用[1]将机器遗忘方法分为三类，基于其与模型结构的关联度： - **模型不可知方法（Model-Agnostic Methods）**：通用且独立于特定模型架构，例如通过数据屏蔽或再训练子集实现遗忘。优点是灵活，但效率较低（如重训练时间可能较长）。公式上，它可以通过优化目标函数实现： $$\min_{M'} \mathcal{L}(M', D \setminus D_f) + \lambda \cdot \text{penalty}(M, M')$$ 其中 $\mathcal{L}$ 是损失函数，$\lambda$ 是正则化参数，用于控制与原模型的偏差。 - **模型固有方法（Model-Intrinsic Methods）**：利用模型内部机制（如神经网络权重）高效实现遗忘，例如通过修剪相关神经元或反向传播调整。适用于深度学习模型，能减少计算开销（遗忘时间较短）。 - **数据驱动方法（Data-Driven Methods）**：基于数据操作，例如生成对抗样本或合成数据来覆盖 $D_f$ 的影响。常用于推荐系统或物联网（IoT）环境，以快速响应数据污染。 这种分类帮助研究者根据应用场景选择合适方法：模型不可知方法适合小型模型，而模型固有方法更适用于大型语言模型（LLMs）的实时更新[^2]。 #### 4. **验证指标** 为确保遗忘效果，框架定义了多项验证指标： - **准确性（Accuracy）**：评估 $M'$ 在保留数据 $D \setminus D_f$ 上的预测精度，确保性能不下降。 - **完整性（Completeness）**：量化 $D_f$ 被移除的程度，例如通过成员推断攻击（Membership Inference Attacks）测试：如果攻击者无法区分 $D_f$ 是否在训练中，则遗忘成功。 - **效率指标**：包括遗忘时间（Time to Unlearn）和重训练时间（Retraining Time），衡量算法效率。 - **安全指标**：防御攻击能力，如模型反演攻击（Model Inversion Attacks，防止重建原始数据）、后门攻击（Backdoor Attacks，确保模型不被恶意操控）。这些指标共同保证遗忘的鲁棒性和隐私性。 #### 5. **应用场景** 机器遗忘框架在多个领域有实际应用： - **联邦学习（Federated Learning）**：当参与者退出时，高效删除其数据，避免全局重训练，提升系统隐私性[^1]。 - **终身学习（Lifelong Learning）**：在动态数据流中移除过时知识，防止模型过拟合，如推荐系统的实时更新。 - **大型语言模型（LLMs）和物联网（IoT）**：用于减少偏见或应对数据污染（如错误标记样本），通过遗忘敏感内容优化模型[^2]。 总之，机器遗忘框架提供了一个系统化的理论基础和实践指南，从问题定义到验证，支持隐私保护、模型优化和法规合规。未来研究方向包括设计更高效的近似算法和统一基准测试。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值