- 博客(95)
- 收藏
- 关注
RSS订阅原创 ResNet18 加载预训练权重，训练过程出现 AssertionError: parameter contains nan
ResNet18 加载预训练权重，训练过程出现 AssertionError: parameter contains nan。这个错误通常是由于梯度爆炸或消失导致的。
2025-03-26 14:39:20
95
原创 我的创作纪念日
提示：你过去写得最好的一段代码是什么？提示：当前创作和你的工作、学习是什么样的关系。提示：可以和大家分享最初成为创作者的初心。提示：在创作的过程中都有哪些收获。提示：职业规划、创作规划等。
2025-03-16 15:32:22
143
原创 【论文阅读】Comment on the Security of “VOSA“
最近，为了抵御联邦学习（FL）中的隐私泄露和聚合结果伪造，Wang等人提出了一种可验证且不经意的联邦学习安全聚合协议，称为VOSA。他们声称，在VOSA协议中，恶意聚合服务器是无法伪造和可验证的，并给出了详细的安全证明。本文中，我们展示了VOSA是不安全的，其中本地梯度/聚合结果及其对应的认证标签/证明可以被篡改而不被验证者检测到。在展示具体攻击之后，我们分析了此安全问题的原因，并提出了防止该问题的建议。
2025-02-06 18:20:36
1064
1
原创 【论文阅读】VOSA: Verifiable and oblivious secure aggregation for privacy-preserving federated learning
VOSA（Verifiable and Oblivious Secure Aggregation），针对联邦学习（FL）中的隐私泄露、结果可验证性和用户掉线问题，提出了一种高效、可验证且具备遗忘性的安全聚合协议。该方案利用聚合器遗忘加密（Aggregator Oblivious Encryption），使服务器能够在不解密用户梯度的情况下完成聚合计算，同时允许用户验证聚合结果的正确性，并通过动态组管理机制支持掉线用户的灵活重新加入。
2025-02-02 15:18:50
602
1
原创 利用腾讯云cloud studio云端免费部署deepseek-R1
Ollama是一个开源的工具，专门用于管理和运行各种大模型。它支持多种模型格式，并且可以自动处理模型的依赖关系，使得模型的部署和运行变得非常简单。Ollama的官方网站提供了丰富的模型资源，用户可以根据自己的需求选择合适的模型进行下载和运行。>>>OllamaDeepSeek-R1 是深度求索（DeepSeek）推出的一款高性能大模型，它在多项自然语言处理任务中表现出色，尤其是在文本生成、对话系统和知识问答等领域。
2025-02-02 13:52:53
3360
1
原创 【论文阅读】VCD-FL: Verifiable, collusion-resistant, and dynamic federated learning
用户隐私泄露服务器伪造聚合结果客户端与服务器进行共谋：窃取隐私、跳过验证客户端在训练过程掉线这篇论文在先前工作（VerfyNet、VeriFL、VFL）的基础上，优化了TA的参数分发，去掉了密钥协商的过程，可以一定程度抵御客户端之间的共谋，也可以减少通信开销；VCD-FL又对拉格朗日插值进行了优化，从VFL的梯度拆分优化为梯度分组，这样就减少了插值的次数，减少了多项式的最高次数；
2025-01-18 22:24:19
1658
6
原创 【论文阅读】Comments on “VERSA: Verifiable Secure Aggregation for Cross-Device Federated Learning”
联邦学习（FL）[6]允许大量用户通过仅将其本地梯度发送到中央服务器进行聚合，在每次训练迭代中共同训练机器学习（ML）模型，而无需发送其原始训练数据。FL的主要安全问题，即梯度向量的隐私和聚合梯度的正确性验证，正在受到行业和学术界的越来越多关注。为了保护梯度的隐私，提出了一种安全聚合；为了验证聚合梯度的正确性，提出了一种可验证的安全聚合，要求服务器提供可验证的聚合梯度。在2021年，Hahn等人提出了VERSA，一种可验证的安全聚合（DOI：10.1109/TDSC.2021.3126323）。
2025-01-17 16:59:44
1199
4
原创 联邦学习中客户端发送的梯度是vector而不是tensor
类型：梯度是张量，包含每个参数的偏导数。形状：梯度的形状与模型参数的形状一致，具体取决于每层的参数。发送方式：客户端将梯度通过向量或数组的形式发送到服务器进行聚合。这些梯度的形状和大小通常较大，尤其是对于深度神经网络，因此联邦学习中的通信和计算效率也是设计的一个重要考量因素。
2025-01-17 14:44:30
828
原创 百分百解决 wsl2 无法使用主机网络代理
以前以为主机打开 clash 时 wsl 同样实现了代理，后来使用docker发现并不是。随后找了很多教程实现 wsl2 使用主机代理，发现各种方法并不适用，最后发现了解决方法。，这样当本机启动代理后，wsl2 同样实现了代理。（这一步可能不一样，总之。
2024-12-18 10:40:51
1700
4
原创 【论文阅读】Efficient Verifiable Protocol for Privacy-Preserving Aggregation in Federated Learning
由于敌手可以通过共享的梯度追踪并推断出用户的敏感信息，联邦学习容易受到许多安全和隐私威胁。本文提出了一种在联邦学习环境中用于安全聚合模型参数的高效通信协议，其中训练在用户设备上进行，梯度的聚合发生在服务器端并且不会泄露用户的敏感信息。本文所提出的协议对用户的退出具备鲁棒性，并且允许每个用户独立验证服务器提供的聚合结果。本文提出的协议在诚实但好奇的环境中是安全的，并且即便多数方勾结也可保持隐私。这篇论文提出了高效可验证的安全聚合策略，并且支持客户端退出。
2024-11-30 16:16:31
802
1
原创 【课堂笔记】隐私计算实训营第四期：“隐语”PIR功能及使用介绍
定义用户查询服务端数据库中的数据；服务端不知道用户查询的哪些数据。分类按服务器数量：单服务器方案多服务器方案按查询类型：Index PIR隐语目前支持的PIR方式：参数多项式次数：N明文模：t密文模：q2∗logqlogt2∗logqlogtRtZtxxN1RtZtxxN1c0c1∈Rq×Rqc0c1∈Rq×RqRq。
2024-11-29 14:47:17
984
原创 【课堂笔记】隐私计算实训营第四期：“隐语”可信隐私计算开源框架
PSI定义【课堂笔记】隐私计算实训营第四期：隐私求交PSI一种 特殊的安全多方计算协议；Alice持有集合X，Bob持有集合Y；Alice和Bob通过执行PSI协议，得到交集结果X∩YX \cap YX∩Y;除交集外不会泄露其他信息。PSI 分类2-方/多方PSI平衡/不平衡PSI半诚实/恶意PSI。
2024-11-25 21:21:36
671
原创 【课堂笔记】隐私计算实训营第四期：“隐语”可信隐私计算开源框架
“隐语”可信隐私计算开源框架隐语架构一览隐语架构拆解产品层算法层PSI/PIR数据分析（Data Analysis）联邦学习（Federated Learning）计算层混合编译调度——RayFedSPUHEUTEEUYACL资源层KUSCIA互联互通跨域管控隐语架构一览隐语架构如图所示：隐语架构拆解产品层产品定位示意图如下：隐语各类产品如下如所示：算法层PSI/PIR定位如下图所示：隐语PSI隐语PIR数据分析（Data Analysis）SCQLS
2024-11-22 20:52:16
394
原创 【课堂笔记】隐私计算实训营第四期：匿踪查询PIR
服务器拥有数据集，客户端发送查询请求。经过PIR的计算，客户端得到了查询结果。服务器并不知道客户端获得的内容。客户端不知道服务器中查询结果之外的元素。（增加了对服务器的数据保护）方法如图所示：使用同态技术。实现简单。通信开销大。
2024-11-20 16:16:41
508
原创 【课堂笔记】隐私计算实训营第四期：隐私求交PSI
安全求交集：Private Set Intersection（PSI）Ailce 有集合X，Bob 有集合Y，在进行了PSI之后，Alice可以拿到X与Y的交集，但是不会知道Y中的其他元素。
2024-11-19 20:53:17
1207
原创 【论文阅读】改进的个性化和客户端模型的投毒纠正的隐私保护联邦学习
联邦学习是一种安全且新兴的分布式学习模式，然而，它仍然易被可能危害隐私和完整性的攻击者所攻击。先前有关隐私保护联邦学习的研究在客户端模型个性化以及抵抗投毒攻击（包括拜占庭攻击和后门攻击）方面存在局限性。对此，本文提出了一种新颖的PPFL框架，即FedRectify，通过部署可信执行环境（TEE）和交互式训练策略，采用个性化的双层方法。该策略通过将模型分为私有和共享层来促进模型个性化的学习。
2024-11-17 15:22:43
1479
5
原创 【论文阅读】FedSelcet：通过自定义参数选择进行微调的个性化联邦学习
本文提出了FEDSELECT，这是一个新颖的个性化联邦学习算法，灵感来自用于彩票假设的迭代子网络发现过程。FEDSELECT逐步扩展子网络以个性化客户端参数，同时对其余参数进行全局聚合。这种方法使得在训练过程中可以个性化客户端参数和子网络结构。本文展示了在客户端数据异质性环境下，FEDSELECT优于最新最先进的PFL算法，并在各种现实世界的分布变化中表现出鲁棒性。该论文提出了一种新的个性化联邦学习（PFL）算法，称为FedSelect。
2024-11-02 10:02:32
1409
1
原创 联邦学习中的数据异构性
在联邦学习中，异构数据指的是不同客户端的数据分布在特征、标签、样本数量等方面存在差异。这种异质性是联邦学习面临的一大挑战，因为它会影响全局模型的训练效果、稳定性和泛化能力。研究者们通过多种技术手段来应对这一问题，以提升联邦学习的性能和适应性。
2024-10-23 21:18:02
1744
原创 CKKS（Cheon-Kim-Kim-Song）全同态加密
CKKS的9个核心算法涵盖了从加密、解密到同态运算和数据编码的整个流程。通过这些算法，CKKS能够在加密状态下执行高效的加法和乘法操作，并且支持浮点数的同态计算，适合用于如联邦学习中对数据隐私要求较高的场景。
2024-10-12 22:24:09
1512
原创 【论文阅读】FreqFed：一种基于频率分析的联邦学习中缓解中毒攻击的方法
联邦学习是一种协作学习范式，允许多个客户端共同训练模型而无需共享其训练数据。然而，联邦学习易受到投毒攻击的影响，在这种攻击中，敌手将经过操纵的模型更新注入到联邦学习模型聚合过程中，以破坏或损坏预测（非针对性中毒）或植入隐藏功能（针对性中毒或后门）。现有针对联邦学习中投毒攻击的防御措施存在若干局限性，例如依赖于对攻击类型和策略或数据分布的特定假设，或者在面对先进的注入技术和策略时缺乏足够的鲁棒性，同时又需保持聚合模型的有效性。
2024-10-12 18:56:52
1399
4
原创 联邦学习的鲁棒性
联邦学习的鲁棒性是指其在面对多种不确定性、恶意攻击、数据异质性以及客户端动态变化时，仍然保持系统安全性、模型性能和隐私保护能力的综合能力。实现鲁棒性通常需要结合多种技术手段，如异常检测、容错机制、安全聚合和动态客户端管理等。
2024-10-09 22:15:17
720
原创 （membership inference attack）成员推断攻击和collusive attack（合谋攻击、共谋攻击）的区别
成员推断攻击是一种隐私攻击，攻击者试图通过分析模型的行为（如输出或更新的权重）来推断某一特定样本是否出现在训练数据集中。
2024-10-06 20:03:41
823
原创 CKKS和BFV支持向量机加密，而paillier只支持标量级加密
综上所述，CKKS 和 BFV 支持向量级加密是因为它们能够通过特殊的编码方式将多个数据点封装进一个密文中，从而允许一次对多个数据点进行加密和解密操作。CKKS（Cheon-Kim-Kim-Song）和BFV（Brakerski/Fan-Vercauteren）支持向量级加密，而Paillier只支持标量级加密，这是因为这三种同态加密方案在设计上对数据的处理方式有所不同。CKKS 和 BFV 都是基于整数环上的全同态加密方案，它们能够支持更复杂的同态运算，并且可以通过某些技术实现高效的批处理。
2024-10-06 20:00:26
401
原创 为什么poisoning attack（投毒攻击）可能导致用户隐私泄露
例如，如果攻击者知道某些特定的输入（他们控制的恶意数据）会导致特定的预测结果，那么当看到类似的预测结果时，他们可能能够推断出相关的输入数据，从而导致数据泄露。如果这些数据包含敏感信息（如个人健康信息、地理位置数据等），且攻击者能够通过某种方式访问到这些已修改的数据或其衍生物，就可能直接导致用户隐私被泄露。为了防止投毒攻击导致的用户隐私泄露，联邦学习系统需要设计实施严格的数据保护措施、鲁棒的模型更新检验机制以及有效的异常检测和响应策略，确保即使在攻击发生时也能最大限度地保护用户数据不被泄露。
2024-10-05 22:04:23
362
原创 【论文阅读】MASKCRYPT: Federated Learning with Selective Homomorphic Encryption
该论文提出了一种名为MASKCRYPT的联邦学习框架，旨在保护客户端的数据隐私。该框架使用选择性同态加密来实现这一目标，并引入了mask共识机制来确保所有客户端都使用相同的加密掩码。具体来说，该框架首先为每个客户端生成一对公钥私钥，并在训练开始前同步这些公钥。然后，在本地训练期间，客户端根据当前模型计算出一个加密掩码，并将掩码提案发送到服务器以进行掩码共识。一旦达成共识，客户端会将其选定的权重加密并与未加密的权重一起发送到服务器进行聚合。最后，服务器将聚合后的模型发送回客户端以进行下一轮训练。
2024-10-01 21:28:10
1332
5
原创 CKKS和BFV支持向量机加密，而paillier只支持标量级加密
CKKS（Cheon-Kim-Kim-Song）和BFV（Brakerski/Fan-Vercauteren）支持向量级加密，而Paillier只支持标量加密，这是因为这三种同态加密方案在设计上对数据的处理方式有所不同。
2024-09-30 15:10:52
372
原创 【论文阅读】RFed: Robustness-Enhanced Privacy-Preserving Federated Learning Against Poisoning Attack
本文提出的RFed是一种基于隐私保护的联邦学习框架，旨在解决联邦学习中的攻击问题和隐私泄露问题。该框架采用了双服务器架构，通过加密技术保证数据传输的安全性和隐私性，并使用加权聚合算法来提高模型的鲁棒性。具体来说，RFed包括初始化、本地训练、权重计算、模型聚合和重新加密协议等五个主要过程。
2024-09-28 20:37:34
802
1
原创 【论文阅读】Communication-Efficient Learning of Deep Networks from Decentralized Data
现代移动设备可以访问大量适合学习模型的数据，这反过来又可以极大地改善设备上的用户体验。例如，语言模型可以改进语音识别和文本输入，图像模型可以自动选择好照片。然而，这些丰富的数据往往对隐私敏感数量庞大，或两者兼而有之，因此可能无法使用传统方法登录到数据中心并在那里进行训练。FederatedLearningFederatedLearning我们提倡一种替代方法，即把训练数据分布在移动设备上，通过聚合本地计算的更新数据来学习共享模型。
2024-09-23 19:30:15
1067
3
原创 【论文阅读】A Robust Privacy-Preserving Federated Learning Model Against Model Poisoning Attacks
虽然联邦学习通过聚合用户数据而无需直接访问，提供了一定程度的隐私保护，但它本质上仍然容易受到各种攻击，包括恶意行为者提交梯度以降低模型准确性的中毒攻击。什么是中毒攻击？就是敌手通过给服务器上传 恶意梯度，使全局模型的准确性降低。为了解决这些问题，我们提出了一种鲁棒的隐私保护联合学习模型，可在不牺牲准确性的情况下抵御模型中毒攻击。我们的方法引入了一个内部审计器，可评估加密梯度的相似性和分布，以区分良性梯度和恶意梯度，并采用高斯混合模型和马氏距离进行拜占庭容错聚合。
2024-09-22 20:46:24
1635
9
原创 拜占庭容错聚合（Byzantine-tolerant aggregation）
Byzantine-tolerant aggregation（拜占庭容错聚合）是联邦学习中一个重要的研究问题。这个问题源于分布式系统中的拜占庭将军问题，在联邦学习的背景下具有特殊的意义和挑战。Byzantine-tolerant aggregation 是联邦学习中确保系统稳定性和可靠性的关键问题。随着联邦学习在各个领域的应用不断扩大，这个问题的重要性也在不断增加。在分布式系统中，拜占庭容错指的是系统能够在部分节点出现任意错误（包括恶意行为）的情况下，仍然能够正常运作。
2024-09-21 21:45:42
1113
原创 联邦学习中服务器初始化时，是对每个客户端初始化一个全局模型而不是是一个全局梯度
总之，联邦学习中的服务器初始化通常涉及创建和分发一个初始全局模型，而不是梯度。这为所有客户端提供了一个一致的起点，简化了训练过程，并与大多数联邦学习算法兼容。在联邦学习中，服务器初始化通常是为所有客户端初始化一个共同的全局模型，而不是全局梯度。客户端将更新（可能是模型参数或梯度）发送回服务器。服务器聚合更新，创建新的全局模型。将初始模型分发给所有客户端。客户端使用本地数据训练模型。重复步骤2-5直到收敛。服务器初始化全局模型。
2024-09-21 16:15:33
416
原创 联邦学习中客户端上传梯度和本地模型参数的区别
总的来说,这两种方法各有优缺点,选择哪种方法取决于具体的应用场景、性能需求和隐私考虑。在不同的联邦学习方案中,客户端上传的内容可能是梯度数据或本地模型参数。本地训练轮次:如果允许多轮本地训练,上传模型参数可能更合适。优化算法:某些优化算法可能更适合使用梯度或模型参数。聚合策略:不同的聚合方法可能更适合梯度或模型参数。计算能力:上传梯度需要客户端有能力准确计算梯度。隐私要求:梯度可能比完整模型参数泄露更少的信息。应用场景:不同的应用可能有特定的需求,影响选择。通信效率:如果模型很大,上传梯度可能更高效。
2024-09-21 15:18:59
542
原创 联邦学习中的通信开销主要体现在哪些方面
解决这些通信开销问题的方法包括但不限于模型剪枝、量化、压缩、使用更高效的编码方案、以及采用更先进的隐私保护技术等。通过这些手段可以在一定程度上缓解通信瓶颈，提高联邦学习的整体效率。
2024-09-20 09:55:25
616
原创 Two-Trapdoor Homomorphic Encryption（双陷门同态加密）
例如，在一些应用场景下，可能有两个不同的实体各自持有系统的不同部分的解密能力，但又需要协作来解密信息。这样做的好处是可以更好地分配信任，并且即使其中一个陷门被泄露，加密的数据仍然能够保持一定的安全性。同态加密的一个主要应用是在云计算中保护用户隐私，因为它使得第三方（如云服务提供商）能够在不解密的情况下处理加密数据，从而保持数据的隐私性。请注意，虽然双陷门同态加密提供了额外的安全层，但在实际部署之前，必须仔细考虑其安全性和实用性，确保没有潜在的漏洞可以被利用。
2024-09-17 10:49:25
398
原创 联邦学习中模型参数与全局梯度的概念与关系
简单来说，模型参数是模型的状态，而全局梯度（或称聚合后的梯度更新）是指导如何改变这些参数以改进模型性能的信息。两者共同作用于联邦学习中的模型训练过程。
2024-09-14 22:03:37
807
原创 同态加密、差分隐私和安全多方计算在联邦学习中的优缺点
每种技术都有其独特的应用场景和挑战。在联邦学习环境中，选择哪种技术或技术组合取决于具体的应用需求、可用的计算资源、对隐私保护的要求以及对模型性能的期望。通常情况下，实际部署时可能会结合使用多种技术来平衡隐私保护与模型性能之间的关系。
2024-09-14 16:31:59
1641
原创 什么是拜占庭问题
将军们可以通过信使互相通信，但问题是其中可能有些将军是叛徒，他们可能会发送错误或恶意的信息，试图让忠诚的将军无法达成一致。为确保一致行动，所有忠诚的将军必须达成共识，即使有部分将军是叛徒。这些算法试图确保即便系统中的某些节点是故障或恶意的，其他节点仍能达成共识并正确执行任务。拜占庭问题（Byzantine Generals Problem）是计算机科学中的一个经典问题，特别是在分布式系统和容错系统中。它描述的是多个参与者（通常是节点或进程）如何在存在恶意或不可靠参与者的情况下达成一致的问题。
2024-09-14 16:31:13
540
原创 【论文阅读】FVFL: A Flexible and Verifiable Privacy-Preserving Federated Learning Scheme
FVFL: A Flexible and Verifiable Privacy-Preserving Federated Learning Scheme -- FVFL:一种灵活且可验证的隐私保护联邦学习方案来源导读AbstractIntroductionProblem StatementA. Problem DefinitionB. Threat Model and GoalsPreliminariesA. Federated Learning(1) Deep Learning:(2) Stochatic
2024-09-11 14:50:08
1660
3
原创 联邦学习中为什么客户端在上传加密数据时还要进行编码
在联邦学习（Federated Learning）框架中，客户端通常会训练一个模型的一部分，然后将更新后的模型参数或梯度信息发送回中心服务器。：虽然加密已经提供了安全保护，但是某些编码技术（如混淆编码）也可以增加额外的安全层，使得即使数据被截获，也难以被理解。：一些编码方法提供了额外的错误检测能力，比如奇偶校验码或者更复杂的错误纠正码，这对于保证数据完整性和可靠性是必要的。综上所述，编码是联邦学习中的一个重要步骤，它有助于提高数据传输的效率、安全性和可靠性。
2024-09-11 09:43:49
343
【C++实验报告】魔兽世界之二：装备
2025-03-08
人工智能课程设计实验报告
2025-01-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人