Apriori算法和FP-growth算法

最新推荐文章于 2024-10-10 17:56:36 发布
原创 最新推荐文章于 2024-10-10 17:56:36 发布 · 1.5k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了关联规则挖掘中的经典算法Apriori和FP-growth。Apriori算法通过多次扫描数据库产生频繁集，而FP-growth算法利用树形结构直接获取频繁集，减少了扫描次数，提升了效率。文章详细介绍了两种算法的原理、步骤及特点。 
经典的关联规则挖掘算法包括Apriori算法和FP-growth算法。
apriori算法多次扫描交易数据库，每次利用候选频繁集产生频繁集；而FP-growth则利用树形结构，无需产生候选频繁集而是直接得到频繁集，大大减少扫描交易数据库的次数，从而提高了算法的效率。但是apriori的算法扩展性较好，可以用于并行计算等领域。
使用Apriori算法进行关联分析。FP-growth算法来高效发现频繁项集。


* Apriori算法
  * 根据支持度进行频繁项集的挖掘，根据置信度进行规则的产生
  * 算法原理：根据候选一项集数据库第一次扫描去掉低于最小值支持度计数的项得到频繁一项集，在根据候选2项集再次扫描数据库得到频繁2项集，在根据候选3项集得到频繁3项集，依次类推。
  * 算法步骤：
    * 首先，拿到数据集进行数据库扫描得到候选1项集，在通过设定一个最小支持度技术得到频繁1项集
    * 再次扫描数据库根据候选2项集得到频繁2项集，依次类推
    * 得到频繁项集，根据置信度来计算规则的产生
    * 设定一个置信度阈值，如果小于置信度阈值，直接筛选掉，否则选择作为关联规则
  * 算法特点：
    * 产生-测试：产生是候选项集，测试的是频繁项集
    * Apriorii算法如果得到是频繁K项集会进行K次扫描数据库
  * 工作中：
    * 进行关联挖掘

* FP-Growth算法
  * 根据支持度进行频繁项集的挖掘，根据置信度进行规则的产生
  * 算法原理：首先扫描一次数据库，筛选掉不符合最小支持度计数的1项集，根据支持度进行排序，得到新的经过排序后的数据，再进行构建FP树，在根据后缀节点寻找前缀路径从而得到频繁项集
  * 算法步骤：
    * 首先扫描一次数据库，筛选掉不符合条件的最小支持度计数的1项集，得到频繁1项集
    * 再次根据支持度计数进行对数据集进行排序，得到排序后的结果，再次进行FP树的构建
    * 根据后缀节点寻找前缀路径中是频繁项集的集合
  * 算法特点：
    * 只需要扫描两次数据库
    * 如果树的分支节点非常多的时候树的复杂度很高
  * 工作中：
    * 进行关联挖掘
    * 在Spark中的FPGrowth算法中直接使用API接口进行大数据量的关联挖掘推荐
机器学习9—关联分析之Apriori算法和FP-Growth算法
ex_6450的博客
08-10 7357
FpGrowth算法通过构造一个树结构来压缩数据记录，使得挖掘频繁项集只需要扫描两次数据记录，而且该算法不需要生成候选集合，所以效率会比较高。FP-Tree（频繁模式树）：是一个树形结构，包括一个频繁项组成的头表，一个标记为null的根结点，它的子结点为一个项前缀子树的集合。频繁项：单个项目的支持度超过最小支持度则称其为频繁项（frequentitem）。频繁头表：频繁项头表的每个表项由两个域组成，一个是项目名称，一个是链表指针，指向下一个相同项目名称的结点。生成FP-Growth树。......
关联规则挖掘算法——Apriori算法以及FP-Growth算法
最新发布
2301_77039628的博客
08-15 1284
关联规则挖掘：在大量交易数据中，找出经常一起出现的商品组合（频繁项集），并生成“如果买了 A，就更可能买 B”的规则。支持度衡量规则的普遍性，置信度衡量规则的可靠，提升度衡量 A 和 B 的真实关联强度。1. 原理： 先验原理。如果一个项集是频繁的，那么它的所有子集也一定是频繁的。如果一个项集是非频繁的，那么它的所有超集也一定是非频繁的。通过此来进行剪枝。2. 流程： 扫描数据集，统计单个商品的支持度，筛选项集。 两两组合这些筛选出的项集，再次扫描数据集，筛选项集。
Apriori 与 FP-growth 算法
优快云@YuanDaiMa2048的博客
02-26 1535
关联规则挖掘是一种无监督学习方法，通过分析数据集来发现其中的潜在关联规则。支持度（Support）：指某个项集在数据集中出现的频率，用于衡量项集的频繁程度。置信度（Confidence）：指在某个条件下规则发生的概率，用于衡量关联规则的可信程度。频繁项集：指支持度大于等于最小支持度阈值的项集。
【Apriori算法和FP-growth算法】
TomJerry__的博客
11-07 1902
Apriori算法和FP-growth
关联分析Apriori算法和FP-growth算法初探
weixin_33831673的博客
08-04 861
1. 关联分析是什么？ Apriori和FP-growth算法是一种关联算法，属于无监督算法的一种，它们可以自动从数据中挖掘出潜在的关联关系。例如经典的啤酒与尿布的故事。下面我们用一个例子来切入本文对关联关系以及关联分析的讨论。 0x1：一个购物篮交易的例子 许多商业企业在日复一日的运营中积聚了大量的交易数据。例如，超市的收银台每天都收集大量的顾客购物数据。 例如，下表给出了一个这种数据集...
关联算法--Apriori和FPGrow算法
Lee
04-24 4659
使用网上Python算法（Apriori算法和FPGrowth算法），实现关联结果 一、Apriori算法和FPGrowth算法 - 对比综述 二、Apriori算法 1. 概述 2. 应用领域 3. Apriori概念 4. Apriori原理 5. Python代码实现Aprirori算法 三、FP-growth算法 1. 概述 2. 应用领域 3. FP-growth概念 ...
【Python】实现Apriori算法和FP-growth算法(附源代码）
a1234567822的博客
03-13 1491
因为Apriori算法在生成候选项集时，需要对每个候选项集进行频繁项集的计数，当最小支持度阈值较低时，需要计算大量的候选项集，导致计算时间较长。而FP-growth算法通过构建FP树，只需要遍历一次数据集，计算频繁项集，所以FP-growth算法更快速。因为Apriori算法需要生成大量的候选项集，并对每个候选项集进行频繁项集的计数，这会消耗大量的时间和内存，而FP-growth算法通过构建FP树，将数据集压缩成了一个紧凑的数据结构，大大减少了存储空间和计算时间的开销。
使用Apriori和FP-growth进行关联规则挖掘
07-12
FP-growth算法由Hao Peng、Jiawei Han和Michael K. Ng在2000年提出，它旨在解决Apriori算法的效率问题，尤其是在处理大数据集时。FP-growth的核心是频繁模式树（FP-tree）： 1. **构建FP树**：首先，将所有的交易...
频繁项集挖掘算法Apriori+Fp-growth的软件（Python-tkinter实现操作界面）包括实验数据集！
06-05
Fp-growth算法适用于处理大规模数据集，因为它避免了Apriori算法的多次扫描和大量候选集的生成。 该软件允许用户导入自己的数据集，这意味着它可以应用于各种实际场景，如购物行为分析、用户点击流分析等。用户可以...
论文研究-FP_growth与Apriori算法比较应用 .pdf
08-16
FP_growth与Apriori算法比较应用，杨威，耿立明，随着数据挖掘技术的不断向前发展，新的、高效的算法的不断出现。服务行业业务中，由于算法的固有缺陷而影响数据挖掘效果和效率的
【数据挖掘】频繁项集挖掘方法中Apriori、FP-Growth算法详解（图文解释 超详细）
showswoller的博客
01-07 5202
【数据挖掘】频繁项集挖掘方法中Apriori、FP-Growth算法详解（图文解释 超详细）
模式识别中的Apriori算法和FPGrowth算法
weixin_33694172的博客
07-19 650
pattern discovery 模式识别中的一些基本概念 模式:对于一个集合项，某些特定的子序列或者结构通常一起出现在数据集中 absolute support :某一项出现的频率[数量] relative support: 某一项出现的频率 frequent item:该项的support值大于最小support阈值 association rules: X->Y(s,c) 在有X的...
使用Apriori算法和FP-growth算法进行关联分析
weixin_30544657的博客
05-17 1955
系列文章：《机器学习实战》学习笔记 最近看了《机器学习实战》中的第11章（使用Apriori算法进行关联分析）和第12章（使用FP-growth算法来高效发现频繁项集）。正如章节标题所示，这两章讲了无监督机器学习方法中的关联分析问题。关联分析可以用于回答"哪些商品经常被同时购买？"之类的问题。书中举了一些关联分析的例子: 通过查看哪些商品经常在一起购买，可以帮助商店了解用户的购买行为。这种...
机器学习（十五）— Apriori算法、FP Growth算法
dbsggal90047018的博客
06-15 224
1、Apriori算法 　　Apriori算法是常用的用于挖掘出数据关联规则的算法，它用来找出数据值中频繁出现的数据集合，找出这些集合的模式有助于我们做一些决策。 　　Apriori算法采用了迭代的方法，先搜索出候选1项集及对应的支持度，剪枝去掉低于支持度的1项集，得到频繁1项集。然后对剩下的频繁1项集进行连接，得到候选的频繁2项集，筛选去掉低于支持度的候选频繁2项集，得到真正的频繁...
机器学习：关联规则：Apriori算法、FP - Growth算法的原理、应用场景及优缺点介绍
rubyw的博客
10-10 1834
关联规则挖掘是数据挖掘中的一个重要任务，用于发现数据集中不同项之间的关联关系。
Apriori算法和FP-growth算法（备忘录）
little_Y_的博客
04-07 743
Apriori算法 1.用于发现频繁项集，但是数据量很多的时候计算量太大，怎么减少计算量呢，于是就有了Apriori规则：一个项集非频繁，那么包含这个项集的所有集合也非频繁 举个例子：现在有由1,2，3,4,5,6,组成的6个集合，比如： 【1,2】，【1】【1,2,3】【4,5】【1,2,4】【5,3,2】 求频繁集： 第一步：对每个【1】，【2】。。。计算在6个集合中，出现次数是不是大于等于最...
关联规则挖掘（Apriori算法和FP-Growth算法）
qq_42370335的博客
07-16 7573
Apriori算法的频繁项集的方式是：先产生低阶频繁项集（从1开始的）的，再由低阶频繁项集产生高阶候选项集，高阶候选项集经过支持度的度量筛选产生，最后生成同阶频繁项集。这是不断重复的“产生-测试”的过程。而FP-growth算法采用是完全不同的方式，算法的第一个核心是压缩数据集，采用的是FP_tree这样的一个数据结构来完全表示了所有的事务，第二个核心是采用了“分而治之”的思想，用递归的方式将挖掘频繁项集一步步分成各自的子问题来解决。对比于Apriori算法，FP-growth算法的特点是只需扫描两次数据库
Apriori 和 FP-Growth
Annaaphq的博客
08-14 455
Apriori和FP-Growth
Apriori算法和fp-growth算法
11-15
Apriori算法和FP-Growth算法都是关联规则挖掘中常用的算法。 Apriori算法的原理是通过不断扫描数据集，找出频繁项集，然后由频繁项集产生候选规则，再通过支持度和置信度筛选出强规则。Apriori算法的缺点是需要不断扫描数据集，计算频繁项集，效率较低。 FP-Growth算法的原理是通过构建FP树来表示数据集，然后通过递归的方式挖掘频繁项集。FP-Growth算法的优点是只需要扫描两次数据集，不需要产生候选项集，效率较高。 以下是两个算法的Python实现： 1. Apriori算法 ```python def loadDataSet(): return [[1, 3, 4], [2, 3, 5], [1, 2, 3, 5], [2, 5]] def createC1(dataSet): C1 = [] for transaction in dataSet: for item in transaction: if not [item] in C1: C1.append([item]) C1.sort() return list(map(frozenset, C1)) def scanD(D, Ck, minSupport): ssCnt = {} for tid in D: for can in Ck: if can.issubset(tid): if not can in ssCnt: ssCnt[can] = 1 else: ssCnt[can] += 1 numItems = float(len(D)) retList = [] supportData = {} for key in ssCnt: support = ssCnt[key] / numItems if support >= minSupport: retList.insert(0, key) supportData[key] = support return retList, supportData def aprioriGen(Lk, k): retList = [] lenLk = len(Lk) for i in range(lenLk): for j in range(i+1, lenLk): L1 = list(Lk[i])[:k-2] L2 = list(Lk[j])[:k-2] L1.sort() L2.sort() if L1 == L2: retList.append(Lk[i] | Lk[j]) return retList def apriori(dataSet, minSupport=0.5): C1 = createC1(dataSet) D = list(map(set, dataSet)) L1, supportData = scanD(D, C1, minSupport) L = [L1] k = 2 while (len(L[k-2]) > 0): Ck = aprioriGen(L[k-2], k) Lk, supK = scanD(D, Ck, minSupport) supportData.update(supK) L.append(Lk) k += 1 return L, supportData ``` 2. FP-Growth算法 ```python class treeNode: def __init__(self, nameValue, numOccur, parentNode): self.name = nameValue self.count = numOccur self.nodeLink = None self.parent = parentNode self.children = {} def inc(self, numOccur): self.count += numOccur def disp(self, ind=1): print(' '*ind, self.name, ' ', self.count) for child in self.children.values(): child.disp(ind+1) def createTree(dataSet, minSup=1): headerTable = {} for trans in dataSet: for item in trans: headerTable[item] = headerTable.get(item, 0) + dataSet[trans] for k in list(headerTable.keys()): if headerTable[k] < minSup: del(headerTable[k]) freqItemSet = set(headerTable.keys()) if len(freqItemSet) == 0: return None, None
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值