《联邦学习实战》杨强 读书笔记十一——联邦学习在智能物联网中的应用案例

本案例探讨了联邦学习如何在保护用户隐私的前提下,应用于智慧社区的出行时间预测。通过历史数据分析,发现传统方法难以有效处理社区出行预测问题。于是,将问题转化为多分类任务,利用LSTM网络结合用户画像和时间序列特征进行预测。模型结构包含LSTM与画像属性特征的融合,旨在为用户提供更好的出行建议。

目录

案例的背景与动机

历史数据分析

出行时间预测模型

问题定义

构造训练数据集

模型结构


联邦学习在智慧城市建设中的一个应用,即用户的出行预测,帮助用户更好地规划出行安排。

人工智能物联网(以下简称AIoT)是一种将人工智能技术和物联网技术相结合而出现的前瞻性概念。

本章介绍联邦学习在AIoT中的一个重要应用:预测社区住户的出行时间,从而帮助住户提供更好的出行建议(如打车预测、路线推荐等)。本案例是横向联邦学习在AIoT领域的应用实践。

案例的背景与动机

当前的智慧社区管理,一般是在各社区中安装AIoT设备,收集本小区住户的出行信息。

由于社区住户的行为数据属于个人隐私信息,不适合将数据上传到云端进行集中式处理。

历史数据分析

历史数据分析的结果表明,在社区出行的问题上,传统的数据分析很难取得令人满意的效果:

  1. 首先,不同住户群体差异性很大。
  2. 其次,单个社区的住户数量一般比较少。

出行时间预测模型

问题定义

我们并不需要一个准确值,而是需要一个大致的区间。因此,我们将出行时间预测退化为一个多分类问题,将每一天的时间划分为多个区间段,预测用户出行的时间段。

构造训练数据集

我们来考虑每一条训练样本(x,y)的构建,首先是特征x的构造,特征构造包括两个层面的特征数据:

  1. 画像属性特征构建:通过用户的登记信息和历史出行,提取包括用户的性别、年龄,工作日出行频率、休息日出行频率等用户画像信息。
  2. 时间序列特征:时间序列建模问题,可以通过滑动窗口的方式来构建训练数据集。假设当前处于第T天,那么我们可以把前面的N天构成一个时间序列。将该序列作为递归神经网络的输入得到用户时序行为特征,其中某一天的输入数据包括是否为工作日;当前24个时间区间段中是否有出行记录等。

训练集中标签y的构建则相对简单,前面已经提到将问题转化为多方类处理。

模型结构

本案例采用LSTM网络作为递归网络模块,然后将其与画像属性特征拼接,接入全连接层,如下图:

本读书笔记系列针对2021年5月出版的《联邦学习实战》(见下图),后续部分将逐步更新

### 关于《联邦学习实战》一书的详细解读 #### 联邦学习的核心概念 联邦学习是一种分布式机器学习技术,能够在保护数据隐私的前提下实现模型训练。书中提到,当多个参与者的数据特征相同时,可以通过横向联邦学习来增加训练样本的数量[^2]。这种模式被称为特征对齐的联邦学习(Feature-Aligned Federated Learning)。而纵向联邦学习则适用于不同参与者拥有不同的数据特征但部分重叠的情况。 #### 书籍结构概述 虽然未提供具体章节内容,但从已知资料可以推测,《联邦学习实战》可能涵盖了以下几个方面: 1. **基础理论**:介绍联邦学习的基本原理及其与其他分布式学习方法的区别。 2. **应用场景**:探讨联邦学习在金融、医疗、广告等多个行业的实际应用案例。 3. **算法设计**:深入讲解如何构建高效的联邦学习算法以及优化策略。 4. **安全机制**:分析保障数据隐私的技术手段,如差分隐私和同态加密等。 以下是基于上述理解的一个简化版总结: ```python class FederatedLearning: def __init__(self, type="horizontal"): self.type = type def train(self, data): if self.type == "horizontal": # 增加样本量的方式进行联合建模 result = sum(data.values()) / len(data) elif self.type == "vertical": # 结合不同维度的信息完成预测任务 features = list(set().union(*data.values())) result = {feature:0 for feature in features} return result ``` 此代码片段仅作为示意用途,并不代表真实实现逻辑。 #### 数据特性与实践技巧 对于希望深入了解该领域的人来说,除了掌握基本定义外还需要注意一些实用建议。例如,在执行过程中要特别关注通信成本控制问题;另外就是针对特定行业需求定制解决方案的重要性不可忽视。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

超威橘猫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值