m0_52695557的博客

联邦学习因其在分布式机器学习中的隐私保护而引起了研究的广泛关注。然而，现有的联邦学习工作主要集中在卷积神经网络（CNN）上，它不能有效地处理在许多应用中流行的图数据。图卷积网络（GCN）被认为是最有前途的图学习技术之一，但其联邦设置很少被探索。在本文中，我们提出了用于多个计算客户端之间的联邦图学习的联邦图，每个计算客户端都包含一个子图。FedGraph通过解决两个独特的挑战，为跨客户端提供了强大的图形学习能力。首先，传统的GCN训练需要在客户之间进行特征数据共享，从而导致隐私泄露的风险。

为了解决网络拥塞和数据隐私问题，将多个客户端和一个参数服务器相结合的联邦学习（FL）已广泛应用于移动边缘计算（MEC）网络，以处理移动客户端生成的大量数据。然而，现有的客户端采样方法没有充分考虑数据异构性和系统异构性。参数服务器选择不合适的客户端参与FL训练过程。这不可避免地导致全局模型的收敛速度变慢，能耗增加。在本文中，我们设计了一个客户端采样模型，目的是选择合适的客户端来提高异构MEC网络中FL的能源效率。然后，我们通过量化客户端的通信能力、计算能力和数据质量，提出了一种节能的客户端采样策略。

联邦学习 (FL) 通过共享模型参数而不是原始数据来训练机器模型，可以保护终端设备工人 (EW) 的数据隐私。然而由于能量限制和自私心理，EW 可能不愿意参与或者训练缓慢，从而影响全局 FL 模型的性能。为了解决这些问题，我们提出了一个基于三阶段 Stackelberg 博弈的无线供电 FL 框架，以激励所有参与者参与系统，同时确保 FL 任务的成功完成。具体来说，基站（BS）发布FL任务，希望以较低的成本获得更好的FL模型。EW训练本地FL模型，希望以更少的能耗获得更多的报酬。

这两天看了一下《Communication-Efficient Learning of Deep Networks from Decentralized Data》论文，感兴趣的同学可以去看看我上一个博客，然后根据论文还有问gpt写了一下相关代码，如果有问题欢迎指正。

现代移动设备可以访问大量适合学习模型的数据，这反过来可以大大改善设备上的用户体验。例如，语言模型可以改善语音识别和文本输入，图像模型可以自动选择好的照片。然而，这些丰富的数据往往对隐私敏感，数量庞大，或两者兼而有之，这可能会妨碍使用传统方法登录数据中心并在那里进行训练。我们提倡一种替代方案，将训练数据分布在移动设备上，并通过聚合本地计算的更新来学习共享模型。我们将这种分散的方法称为联邦学习。

大型预训练语言模型已被证明可以在其参数中存储事实知识，并在对下游NLP任务进行微调时获得最先进的结果。然而，他们访问和精确操作知识的能力仍然有限，因此在知识密集型任务中，他们的性能落后于特定任务的体系结构。此外，为他们的决定提供出处和更新他们的世界知识仍然是悬而未决的研究问题。具有对显式非参数记忆的可微访问机制的预训练模型可以克服这个问题，但迄今为止只针对提取下游任务进行了研究。微调方法——该模型结合了预先训练的参数和非参数记忆，用于语言生成。

检索增强生成（RAG）是一种很有前途的减轻大型语言模型（LLM）幻觉的方法。然而，现有的研究缺乏对检索增强生成对不同大型语言模型的影响的严格评估，这使得识别不同LLM的RAG能力的潜在瓶颈具有挑战性。在本文中，我们系统地研究了**检索增强生成对大型语言模型的影响**。我们分析了不同大型语言模型在RAG所需的4种基本能力方面的性能，包括**噪声鲁棒性、负抑制、信息集成和反事实鲁棒性**。为此，我们建立了检索增强生成基准（Retrieval-Augmented Genera-tion Benchmark RG

近年来，检索增强文本生成引起了计算语言学界越来越多的关注。与传统的生成模型相比，检索增强文本生成具有显著的优势，尤其是在许多NLP任务中取得了最先进的性能。本文旨在对检索增强文本生成进行一项调查。**它首先强调了检索增强生成的一般范式，然后根据不同的任务，包括对话响应生成、机器翻译和其他生成任务**，回顾了值得注意的方法。最后，在总结现有方法的基础上，提出了一些有前景的研究方向，以利于今后的研究。

边缘计算与深度学习的融合：综述（翻译+学习笔记）