《Web安全之机器学习入门》笔记：第十一章 11.6 Fp-growth算法挖掘僵尸主机

目前互联网中有大量僵尸主机进行探测扫描行为，这些僵尸主机为了避免被安全设备检测到，通常会频繁更换IP地址，故而很难仅仅只通过ip地址就确定僵尸主机。本小节通过使用FP-growth算法，分析防火墙的拦截日志，挖掘出浏览器的user-agent字段和被攻击的目标url之间的关联关系，来初步确定潜在的僵尸主机。

一、Fp-growth算法

FP-Growth（Frequent Pattern Growth，频繁模式增长）算法是一种用于高效发现数据集中频繁项集的算法，由Jiawei Han等人在2000年提出。它是关联规则挖掘中的一种重要方法，相比传统的Apriori算法有显著的性能提升。

1. 算法核心思想

FP-Growth算法通过以下两步发现频繁项集：

构建FP树（Frequent Pattern Tree）：将事务数据库压缩到一个高度浓缩的树结构中
从FP树中挖掘频繁项集：通过递归方式从FP树中提取频繁项集

2. Apriori算法和 FP-Growth算法对比

对比项	Apriori算法	FP-Growth算法
核心思想	基于候选生成-测试（逐层搜索）	基于FP树压缩存储，模式增长（无候选项集）
扫描次数	多次扫描数据库（每轮候选项集生成）	仅扫描2次（1次统计频次，1次建树）
存储方式	保留原始事务数据或候选项集	FP树压缩存储，减少内存占用
效率	低效（频繁生成候选项集，多次I/O）	高效（避免候选项集，减少计算和存储开销）
适用场景	小规模数据集	大规模数据集（更快的运行速度）
主要缺点	1. 候选项集爆炸问题 2. 多次扫描数据库	1. FP树构建可能占用较大内存 2. 实现较复杂

二、数据集

1、数据集处理

本小节使用防火墙的拦截日志来做挖掘，位于KnowledgeGraph/sample7.txt文件中，如下所示

对于数据集处理则是使用逗号分隔，具体代码如下所示

transactions=[]

with open("../data/KnowledgeGraph/sample7.txt") as f:
    for line in f:
        line=line.strip('\n')
        ip,ua,target=line.split(',')
        print("Add (%s %s %s)" % (ip,ua,target))
        transactions.append([ip,ua,target])

print(transactions)

运行结果如下所示

Add (ip=ip1 ua=ua1 target=url1)
Add (ip=ip2 ua=ua1 target=url1)
Add (ip=ip3 ua=ua1 target=url1)
Add (ip=ip1 ua=ua1 target=url2)
Add (ip=ip2 ua=ua1 target=url2)
Add (ip=ip3 ua=ua1 target=url2)
Add (ip=ip4 ua=ua2 target=url2)
Add (ip=ip5 ua=ua3 target=url2)
Add (ip=ip5 ua=ua6 target=url6)
Add (ip=ip6 ua=ua3 target=url4)
Add (ip=ip7 ua=ua4 target=url4)
Add (ip=ip8 ua=ua5 target=url5)
[['ip=ip1', 'ua=ua1', 'target=url1'], ['ip=ip2', 'ua=ua1', 'target=url1'], ['ip=ip3', 'ua=ua1', 'target=url1'], ['ip=ip1', 'ua=ua1', 'target=url2'], ['ip=ip2', 'ua=ua1', 'target=url2'], ['ip=ip3', 'ua=ua1', 'target=url2'], ['ip=ip4', 'ua=ua2', 'target=url2'], ['ip=ip5', 'ua=ua3', 'target=url2'], ['ip=ip5', 'ua=ua6', 'target=url6'], ['ip=ip6', 'ua=ua3', 'target=url4'], ['ip=ip7', 'ua=ua4', 'target=url4'], ['ip=ip8', 'ua=ua5', 'target=url5']]

2、使用FP-growth算法挖掘僵尸主机

本小节将条件设置为支持度=3，而置信度=0.9，满足这样条件我们就认为它是僵尸主机。

patterns = pyfpgrowth.find_frequent_patterns(transactions, 3)
rules = pyfpgrowth.generate_association_rules(patterns, 0.9)

3、运行结果

经过FP-growth挖掘，满足条件的结果为

{('target=url1',): (('ua=ua1',), 1.0)}