fp-grows,pfp-grows与协同过滤cf

l  FP-Grows

FP增长算法是一种以自底向上的探索树FP-tree产生频繁项集的算法。

 

 FIM(频繁项集挖掘)的定义：

I={a1,a2,...am}是一个项目的集合，一个事务数据库DB是I的一个子集，DB={T1,T2,...Tn}，每一个Ti属于I（1<=i<=n），Ti属于一个事务。模式A（属于I）的支持度为supp(A),是这个某些事务（包含模式A）在整个DB中的个数。A是一个频繁模式且supp(A)>=ξ（ξ被定义为最小支持度阈值）。给定一个DB和ξ，这个问题就可以描述为在DB中寻找频繁模式集合，即为频繁项集挖掘问题。

 

FP-Tree：       

将事务数据表中的各个事务数据项按照支持度排序后，把每个事务中的数据项按降序依次插入到一棵以 NULL为根结点的树中，同时在每个结点处记录该结点出现的支持度。

 

FP-Growth体现了一种分治的策略。该算法需要扫描两次数据库，第一次扫描数据库时计算所有项目的频数，并按照此频数的降序排序生成一个F-List。在第二次扫描中所有数据库中的数据都被压缩为一个FP-tree。接着FP-Growth就开始挖掘这个FP-tree，即针对每一个满足supp（）>ξ的项目递归的生成一个条件FP-tree。然后递归的挖掘这个FP-tree。所以就把寻找频繁项目集转换为递归地查找和创建树的过程。

 

例：

 

算法流程

频繁集的阈值是3，最小支持度为3。

事务数据：

                                                

图（1）

首先，扫一遍数据，统计每一项的频率；删除频率小于最小支持度的项；根据项频率，由大到小排序。

然后再扫一遍数据，构造频繁项集树。构造树的流程如下。

读第一条记录：

图（2）

读第二条记录：

                                      

图（3）

读第三条记录：

                                       

图（4）

读第四条记录：

                                          

图（5）

读第五条记录：

                                       

图（6）

为了便于后边的树的遍历，我们为这棵树又增加了一个结构-头表，头表保存了所有的频繁项目，并且按照频率的降序排列，表中的每个项目包含一个节点链表，指向树中和它同名的节点。

图（7）

好了，一颗完整的FP-Tree构造完成。

二、挖掘频繁模式

                                        

图（8）

以m为例挖掘，以m结尾的有{f:4,c:3,a:3,m:2}和{f:4,c:3,a:3,b:1，m:1}两条路径。以m为条件，{f:4,c:3,a:3,m:2}得到{fca:2}（将频数设置成最低的那个数）,{f:4,c:3,a:3,b:1，m:1}得到{fcab:1}。两项相加得到{fca:3,b:1},b不符合频繁项阈值3，所以，

mine(FPtree|m)=mine(<f:3,c:3,a:3>|m)。

其他以此类推，得到最终的结果，如下图。

                                     

图（9）

 

算法：

 

·    PFP: Parallel FP-Growth

·   PFP使用三个MR去实现PF-Growth算法。图2显示描述了PFP的5步：

·  

·   Step1：分割。分割DB到P台不同的电脑，每台电脑的部分数据称为分片(shard);

·   Step2:并行计算。使用一个MR计算所有项目的支持度。每个Mapper计算一个分片，最后的结果存储在F-list中；

·   Step3：划分项目组。把F-list分为Q组（每组为一个G-list），每组赋予一个唯一的组ID（gid），这个过程在一个电脑上完成；

·   Step4：并行FP-Growth。PFP的关键的一步，其Mapper和Reucer都是不同的操作；

·   Mapper：产生由组分配的事务集，事先读入G-list，输出一个或者多个key-value对，其中key为gid，value为由组分配的事务集；对于每个Ti（属于DB），mapper执行下面的操作：

          1. 对于每个项目aj(属于Ti)，用相应的group-id替换aj；

      2. For each group-id, say gid, if it appears in Ti , locate its right-most appearance, say L, and output a key-value pair key = gid, value = {Ti [1] . . . Ti [L]} .这句的意思应该是：对于这样一条已转换的记录[0,2,3,5],应该输出为{[gid1:0,2,3,5], [gid2:0,2]  

 当所有的Mapper实例完成后，MR框架就把相同的key的values放在一起，作为reducer的输入数据value，则reducer的输入数据为（key=gid，value=DBgid）；

·    

·   Reducer：每个Reducer操作一个或者多个由组分配的分片，对于一个分片这个reducer建立一个本地的FP-tree，接着递归的建立条件FP-tree并且在递归的过程中输出发现的模式组合；

·   Step5：聚集所有的结果

 

 

原文及伪代码请见PFP: Parallel FP-Growth for Query Recommendation

 

 

 

 

 

 

协同过滤

l  什么是协同过滤

协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最近有什么好看的电影推荐，而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。

 

l  深入协同过滤的核心

要实现协同过滤，需要以下几个步骤

1. 收集用户偏好
2. 找到相似的用户或物品
3. 计算推荐

 

基于用户的 CF（User CF）

基于用户的 CF 的基本思想相当简单，基于用户对物品的偏好找到相邻邻居用户，然后将邻居用户喜欢的推荐给当前用户。计算上，就是将一个用户对所有物品的偏好作为一个向量来计算用户之间的相似度，找到 K 邻居后，根据邻居的相似度权重以及他们对物品的偏好，预测当前用户没有偏好的未涉及物品，计算得到一个排序的物品列表作为推荐。图 2 给出了一个例子，对于用户 A，根据用户的历史偏好，这里只计算得到一个邻居 - 用户 C，然后将用户 C 喜欢的物品 D 推荐给用户 A。

基于物品的 CF（Item CF）

基于物品的 CF 的原理和基于用户的 CF 类似，只是在计算邻居时采用物品本身，而不是从用户的角度，即基于用户对物品的偏好找到相似的物品，然后根据用户的历史偏好，推荐相似的物品给他。从计算的角度看，就是将所有用户对某个物品的偏好作为一个向量来计算物品之间的相似度，得到物品的相似物品后，根据用户历史的偏好预测当前用户还没有表示偏好的物品，计算得到一个排序的物品列表作为推荐。图 3 给出了一个例子，对于物品 A，根据所有用户的历史偏好，喜欢物品 A 的用户都喜欢物品 C，得出物品 A 和物品 C 比较相似，而用户 C 喜欢物品 A，那么可以推断出用户 C 可能也喜欢物品 C。

图 3.基于物品的 CF 的基本原理