001_temp-优快云博客

原创【学习笔记】Transformer基础概念

Transformer每次都听朋友聊到，虽然我目前的研究领域尚未包含这种架构，但是还是学习一下。。它于2017年由谷歌团队的论文提出，最初用于机器翻译，但后来彻底改变了自然语言处理领域，并扩展到图像、音频等多个AI领域。：自注意力 + 编码器 - 解码器，并行训练强但 O (n²) 复杂度，代表 GPT-4、LLaMA-2，适配通用 NLP / 多模态。：负责“理解”输入信息（如一句英文）。它通过多层自注意力层和前馈神经网络，将每个词编码成一个包含上下文信息的向量。：负责“生成”输出信息（如对应的中文）。

2026-01-20 15:36:29 672

原创【学习笔记】新手论文写作需要注意的事项！！

长度通常不超过一页的一半。需要说明自己这篇论文做了什么，贡献了什么，可以往上摆一点数据。

2025-12-04 17:03:45 367

原创【论文笔记】Membership Inference on Text-to-image Diffusion Models via Conditional Likelihood Discrepancy

使用Kullback-Leibler（KL）散度作为距离度量，计算条件似然（图像给定文本的似然）与边际似然（仅图像的似然）之间的差异。

2025-02-20 16:32:10 896 1

原创【学习笔记】AI图像合成、机器遗忘与隐私平衡

在处理复杂开放交互环境时，通常需要跨学科的方法，如系统动力学、复杂性科学、网络科学等，以及先进的技术工具，如模拟、预测分析和人工智能，来理解、预测和管理环境中的动态行为。无参化通常指的是减少或消除机器学习模型中的可训练参数，或者使模型的性能不依赖于大量的参数。需要注意的是，随着AI技术的不断进步，防御技术也需要不断地更新迭代，以应对新的挑战。：大模型拥有数亿、数十亿甚至更多的参数，这些参数是模型在学习过程中通过大量数据学习得到的，用以描述输入数据与输出结果之间的关系。

2024-09-06 16:11:36 1404 1

原创【论文笔记】Provably secureoptimalhomomorphicsigncryptionforsatellite-based internet of things

这篇论文提出了一种新型的同态签密方案，专为卫星物联网环境设计。这篇是帮同学整理的，和本人研究方向无关。

2024-09-06 11:05:46 969 1

原创【论文笔记】Forgetting and Remembering Are Both You Need: Balanced Graph Structure Unlearning

SUMMIT 通过遗忘目标和记忆目标的结合，以及 ATOB 的动态平衡，有效地实现了知识遗忘和模型效用维护之间的平衡，为图结构遗忘问题提供了一种有效且高效的解决方案。SUMMIT 方法包含三个主要部分：遗忘目标、记忆目标和自适应双目标平衡器 (ATOB)。这篇论文提出了一个名为 SUMMIT 的新型结构遗忘算法，旨在解决。

2024-09-06 10:55:47 1329 1

原创【论文笔记】ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine ...

原文链接。

2024-07-26 22:22:42 1024

原创【论文笔记】联邦忘却学习研究综述

联邦学习［11］保护用户隐私数据的前提下实现模型训练，进而促进数据的流通和共享。其中，模型聚合公式为：联邦学习的机器学习模型对所有参与训练的用户开放，攻击者可以在本地训练过程中访问全局模型，根据模型反推参与者的数据信息，进而导致数据隐私泄露成员推理攻击模型反转攻击恶意模型攻击等等……隐私保护、攻击抵抗的应用。

2024-06-30 00:40:05 1353 1

原创【论文笔记】机器遗忘：错误标签方法

GDPR要求数据持有者在欧盟居民请求时删除其个人数据，包括用于训练机器学习模型的训练记录。然而，深度神经网络（DNN）容易受到信息泄露攻击，如模型反演攻击和成员资格推断攻击，这可能会泄露原本应该被删除的私人信息。

2024-05-29 20:55:54 1563 1

原创【论文笔记】贝叶斯深度学习（2020）

本博客相关链接：贝叶斯深度学习（Bayesian Deep Learning）2020 最新研究总结 (qq.com)

2024-05-23 19:59:32 1200 1

原创【论文学习笔记】When Machine Unlearning Jeopardizes Privacy

在本文中，我们进行了第一次关于调查机器遗忘引起的意外信息泄露的研究。我们提出了一种新的隶属推理攻击，它利用ML模型的两个版本的不同输出来推断目标样本是否是原始模型的训练集的一部分，但不在相应的未学习模型的训练集之外。我们的实验表明，所提出的成员推断攻击取得了较强的性能。更重要的是，我们表明，我们的攻击在多种情况下都优于对原始ML模型的经典成员推断攻击，这表明机器学习的遗忘学习可能会对隐私产生适得其反的影响。我们注意到，对于经典成员度推理表现不佳的广义化 ML 模型，隐私降级尤为显着。我们进一步。

2024-05-11 21:13:07 1715 1

原创【学习笔记】机器学习

术语术语数据集敏感样本在机器学习中，**敏感样本（Sensitive Samples）**通常指的是那些。这些样本可能包含某些关键信息或特征，使得模型在处理这些样本时表现出与处理其他样本不同的行为或性能。在分类问题中，敏感样本可能包括：：这些样本位于不同类别的边界上，对于确定分类边界具有重要影响。模型在处理这些样本时的表现往往决定了其整体性能。：在某些类别中数量较少的样本，由于数量有限，模型可能难以从这些样本中学习到足够的信息。因此，这些样本对于模型的性能提升具有关键作用。

2024-05-08 22:44:48 1303

原创【学习笔记】神经网络与深度学习

在传统的深度神经网络中，随着网络层数的增加，梯度在反向传播过程中可能会变得非常小，导致网络难以训练，这就是梯度消失问题。这样，如果残差块中的卷积层学习到的是恒等映射（即输出与输入相同），那么整个块的输出将与输入相同，这使得网络可以更容易地学习到恒等映射。在深度学习中，数据通常以张量的形式进行表示和处理，而张量的维度则描述了数据在各个方向上的大小或者说是数据排列的方式。因此，通道的数量等于卷积核的数量。：残差结构使得网络可以在增加深度的同时保持训练的稳定性和性能，这在传统的深度网络中是难以实现的。

2024-05-08 22:43:38 1013

原创【学习笔记】理论基础

在这个过程中，任意随机变量的线性组合都服从正态分布，每个有限维分布都是联合正态分布，并且其本身在连续指数集上的概率密度函数即是所有随机变量的高斯测度。然后，找到这个线性函数的根，作为新的x值，重复这个过程，直到找到足够接近真实根的x值。需要注意的是，牛顿法虽然具有较快的收敛速度，但也可能存在一些问题，如收敛性受初始值影响较大，以及在某些情况下可能无法收敛到正确的解。在数学统计中，Fisher信息有着广泛的应用，如用于贝叶斯统计中的Jeffreys先验的计算，以及用于计算与最大似然估计相关联的协方差矩阵等。

2024-05-08 22:43:13 537

原创【学习笔记】梯度

在机器学习和深度学习中，梯度通常用于。特别是在优化算法中，如梯度下降（Gradient Descent）和其变种（如随机梯度下降、动量梯度下降等），梯度被用来指导参数更新的方向和大小，以最小化或最大化某个目标函数。梯度可以理解为一个向量，它包含了某个函数在每个点上的变化率和变化方向。对于二维图像，梯度可以用一个二维向量表示，向量的方向指向像素点周围变化最快的方向，大小表示强度变化的大小。在图像处理中，通常使用灰度图像进行处理，因此梯度向量的大小可以近似表示图像中的边缘强度。符号：∇θ表示对θ的梯度。

2024-05-08 17:23:58 841

原创【学习笔记】联邦学习

联邦学习是一种在保护数据隐私的前提下，允许多个参与方协作训练机器学习模型的框架。它主要有三种类型：水平联邦学习（Horizontal Federated Learning）、垂直联邦学习（Vertical Federated Learning）和联邦迁移学习（Federated Transfer Learning）。这三种方法都旨在在不共享原始数据的情况下，通过协作训练来提高机器学习模型的性能，同时保护数据的隐私和安全。

2024-05-08 16:47:50 1022

信息安全专业研究生在读，记录学习内容