fansy1990的专栏

说明：参考Mahout FP算法相关相关源码。算法工程可以在下载：（只是单机版的实现，并没有MapReduce的代码）使用FP关联规则算法计算置信度基于下面的思路：1. 首先使用原始的FP树关联规则挖掘出所有的频繁项集及其支持度；这里需要注意，这里是输出所有的频繁项集，并没有把频繁项集合并，所以需要修改FP树的相关代码，在某些步骤把所有的频繁项集输出；（ps：参考Mahout的FP树单机版的实现，

mahout里面的关联规则是用FP-tree实现的，上次简单分析了下实现的第一步，一共有三步，如下：现简要分析下第二步：假如原始数据如下：牛奶,鸡蛋,面包,薯片鸡蛋,爆米花,薯片,啤酒鸡蛋,面包,薯片牛奶,鸡蛋,面包,爆米花,薯片,啤酒牛奶,面包,啤酒鸡蛋,面包,啤酒牛奶,面包,薯片牛奶,鸡蛋,面包,黄油,薯片牛奶,鸡蛋,黄油,薯片那么生成的fList如下：

版本：Spring3+Struts2+Hibernate3+Hadoop1.0.4+Mahout0.7+Mysql5源码可以可以在http://download.youkuaiyun.com/detail/fansy1990/6935279下载。接上篇：http://blog.youkuaiyun.com/fansy1990/article/details/19438771 。在获得云平台任务列表的时候，如果集群是刚刚启

上次说到这个函数：public final void generateTopKFrequentPatterns(Iterator,Long>> transactionStream, Collection> frequencyList,

近期看mahout的关联规则源码，颇为头痛，本来打算写一个系列分析关联规则的源码的，但是后面看到有点乱了，可能是稍微有点复杂吧，所以就打算先实现最简单的二项集关联规则。算法的思想还是参考上次的图片：这里实现分为五个步骤：针对原始输入计算每个项目出现的次数；按出现次数从大到小（排除出现次数小于阈值的项目）生成frequence list file;针对原始输入的事务进行按freq

关联规则如何并行实现呢？一个很直观的想法是要么分数据要么分计算。本文要说的是分数据，想法来自mahout的fp-tree并行实现。其中分数据的博客已在前篇 mahout关联规则FPGrowthDriver源码分析之如何分数据 中说明，如何建树可以在网上查找（这个相对来说比较简单）或者直接看此片论文：《Mining FrequentPatterns without Candidate Gener

近期又重新看起关联规则相关内容，看了自己写的关联规则源码分析，发现第二部分自己写的很不清楚，因为当时自己也不甚理解该算法。现在重新阅读此算法的相关论文，并做点翻译工作，仅供以后参考（只翻译了部分）。原文为：Parallel FP-Growth for Query Recommendation。2. PFP:PARALLEL FP-GROWTH     FIM(频繁项集挖掘)的定义：

最近看了关联规则的相关算法，着重看了mahout的具体实现，mahout官网上面给出了好多算法，具体网址如下：https://cwiki.apache.org/confluence/display/MAHOUT/Parallel+Frequent+Pattern+Mining 。先说下命令行运行关联规则，关联规则的算法在mahout-core-0,7.jar包下面，命令行运行如下：fa

本篇代码可在 下载。前篇《HotSpot关联规则算法（1）-- 挖掘离散型数据》分析了离散型数据的HotSpot关联规则，本篇分析离散型和连续型数据的HotSpot关联规则挖掘。1. 首先看下数据格式（txt文档）：@attribute outlook {sunny, overcast, rainy}@attribute temperature numeric@attribute humidi

提到关联规则算法，一般会想到Apriori或者FP，一般很少有想到HotSpot的，这个算法不知道是应用少还是我查资料的手段太low了，在网上只找到很少的内容，这篇http://wiki.pentaho.com/display/DATAMINING/HotSpot+Segmentation-Profiling ，大概分析了一点，其他好像就没怎么看到了。比较好用的算法类软件，如weka，其里面已经包

首先说明一点，前面的文章中的mahout关联规则源码分析part2  很多地方都理解错误了，现重新把理解的写下：在命令行直接运行下面的命令就可以获得mahout关联规则FPGrowthDriver的用法： bin/hadoop jar $mahout_home/core/target/mahout-core-0.7-job.jar org.apache.mahout.fpm.pfpgr