【阅读笔记】联邦学习实战——构建公平的大数据交易市场

前言

FATE是微众银行开发的联邦学习平台，是全球首个工业级的联邦学习开源框架，在github上拥有近4000stars，可谓是相当有名气的，该平台为联邦学习提供了完整的生态和社区支持，为联邦学习初学者提供了很好的环境，否则利用python从零开发，那将会是一件非常痛苦的事情。本篇博客内容涉及《联邦学习实战》第十四章内容，使用的fate版本为1.6.0，fate的安装已经在这篇博客中介绍，有需要的朋友可以点击查阅。本章内容为构建公平的大数据交易市场，随着人工智能的迅速发展，海量的数据已经成为了帮助训练更好模型的最重要的燃料，但是隐私泄露问题阻碍着大量的数据无法流通入市场中，如果采用联邦学习技术，让数据不出本地，就能够帮助模型进行训练，同时用户的隐私也不会泄露，这将会是两全其美的好事，所以，构建公平的大数据交易市场的意义极为重要。

---

1.1节中介绍了数据有资产属性，当数据具有此属性后，数据便能够直接或者间接为公司、社会创造价值和收益，并且可以作为特殊的商品在市场中交易。

世界各国和中国政府也意识到大数据对未来发展的意义，并且均已经在国家层面进行战略部署，纷纷发布各种与数据相关的战略计划。数据商品与传统商品相比，前景更为广阔，同时也面临许多挑战，主要包括：

• 数据的质量、价格如何定义。
• 如何在合法合规前提下，不泄露用户的隐私。
• 如何构建合理的激励机制鼓励更多参与方加入到数据交易市场中。

1. 大数据交易

1.1 数据交易定义

指一种对数据进行买卖的行为，企业或政府可以通过交易平台，找到所需的数据资源。大数据交易由三方共同参与，分别为数据提供方，大数据交易平台和数据需求方。

交易平台主要分为三种模式：

• 大数据分析结果交易：交易对象不是原始数据，而是对数据进行清洗、分析、建模、可视化等操作后得出结果再出售。
• 数据产品交易：通过与其他数据拥有者合作，对数据整合、清洗、脱敏，形成数据产品后出售。
• 交易中介：平台本身不存储和分析数据，而是作为交易渠道，通过API接口形式为各类用户提供出售、购买数据服务，实现交易流程管理。

1.2 数据确权

数据确权是指数据交易后，数据的所有权和控制权归属问题。数据确权也被普遍任务是数据交易中首要解决的问题，产权归属是交易的前提与基础。
但是由于数据在交易中具有流动性、实时性、复杂性和易复制性等特点，很难进行统一的界定。大数据交易面临的产权归属主要面临四大瓶颈：

• 数据权利类型不明确，无法确定其适用所有权法、产权法还是知识产权法。
• 数据权利主体究竟属于数据生产者还是数据持有者。
• 数据的控制和使用权利界限不明。
• 数据通过互联网容易复制，权属保护困难。

当前的数据所有权很多时候是由平台与用户单独签订的协议，比如使用微信时要遵循《腾讯微信软件许可服务协议》。

1.3 数据定价

根据贵阳大数据交易所在2016年推出的《数据定价办法》对数据的定价进行了量化，将数据的影响因素归结为数据品种、时间跨度、数据深度、数据的实用性、完整性以及数据样本的覆盖度等六个维度。

2. 基于联邦学习构建新一代大数据交易市场

在基于联邦学习构建的大数据交易市场中，卖家并不直接将数据放在交易平台上进行交易，而是组建一个联邦学习网络，通过这个网络，在各个参与方不出本地的前提下，联合各参与方构建更多的二次开发产品，包括联邦模型、联邦数据分析、联邦画像数据等。这些产品通过交易平台对用户进行销售。
相对于传统的大数据市场，这种新型交易平台的优势：

• 数据不离开本地，更不直接与平台交互，很大程度减少了隐私泄露风险。
• 提供更加丰富的数据交易商品。

3. 联邦学习激励机制助力数据交易

要想数据交易市场在一个良性环境下持续并长久的运行，需要一种激励机制，通过激励数据所有者贡献有价值的数据，可以更好地调动各参与方的积极性。此外，数据交易市场的数据提供方和数据交易平台在数据存储和训练上都需要一定的资源成本开销，公平的激励策略能够帮助各参与方从联邦学习生态中受益。
SHapley（SV）是公平定量评估用户边际贡献度的常用指标。SV起源于合作博弈，并被广泛应用于很多领域，从经济学、信息论到机器学习。SV之所以火热，是因为它具有公平性、个体理性化和可加性等优越性质。在联邦学习中，一个参与节点的SV能够评估该节点对聚合最终模型的边际贡献量。然而SV开销大，计算复杂的为O(n!)，n为节点数量。
上一章引入了联邦激励机制的概念，本章详细介绍一种基于区块链的联邦学习P2P支付系统，简称为联邦币，以实现基于SV值的公平激励分配。
在FedCoin中，区块链共识节点计算Shapley值，并基于Shapley工作量证明共识协议创建新的区块。在PoSap机制中，出块奖励是联邦学习任务奖励的一部分，通过共识节点对联邦学习节点的Shapley值计算来决定写块权，从而引导区块链共识算力服务于联邦学习激励分配。
与流行的比特币相比，FedCoin采用的PoSap共识机制改进了BitCoin中PoW工作量证明中无意义的散列运算。通过基于真实数据的仿真实验，FedCoin能够公平地评估各参与方对全局模型基于SV的贡献度，并保证达到共识所需的计算资源有限（即在有限的资源内一定能共识）。

4. FedCoin支付系统设计

这里我简要介绍下联邦学习激励机制的问题描述，这部分首先介绍了FL任务的优化问题，通过SGD求解，计算每个节点的梯度，并将梯度上传到中心节点进行聚合，在这个过程中，计算每个节点的SV，可由下式计算得到：

$${\varphi }_i=\sum _S\frac{(K-S-1)!-}{K!}$$