29、Bloom Filter在大数据处理中的应用与优化

Bloom Filter在大数据处理中的应用与优化

1. 隐私保护记录链接（PPRL）中的Bloom Filter方案

1.1 解决数据库缺失值的方案

• 参数协商 ：数据库所有者首先就用于链接的参数达成一致。
• 构建属性级Bloom Filter（ABF） ：为每个在商定参数上无缺失值的记录构建ABF，通过将项目的q - gram插入Bloom Filter生成ABF。
• 处理缺失值记录 ：构建仅包含缺失值记录的表，生成本地格结构以确定数据库中的缺失模式。
• 确定共同缺失模式 ：遵循安全集交集（SSI）协议确定两个数据库之间的共同缺失模式，生成共同格。
• 记录分组与处理 ：根据共同格识别具有缺失模式的记录并分组，从属于该分区的记录的ABF中选择位，为每个记录构建Bloom Filter，应用不同排列增强隐私，根据本地和共同格结构对相邻分区的Bloom Filter进行分组。
• 数据库链接 ：数据库所有者将分区的Bloom Filter转发到链接单元，链接单元计算Dice系数相似度，采用阻塞技术增强比较，返回比较结果，移除相似记录以减少冗余，继续处理所有分区。

1.2 多方PPRL（MPPPRL）的CBF编码方法

• 参数协商 ：所有参与方就Bloo