这里写自定义目录标题
大数据挖掘研究
(1)基于内存数据分解的方式:随着数据集越来越大,计算机无法一次性地将大数据集读入内存,数据分解技术采用分而治之的思想,将大数据集分割成一块块小数据集读入内存,然后进行挖掘,最后合并挖掘结果,大大提高了挖掘效率
(2)基于磁盘存储的方式:由于内存空间较小,不能整体地将大数据集进行处理,因此需要将一部分数据存放在磁盘上,这样能够有更多的内存空间来处理后面的数据。
(3)基于采样的方式,采样方法是统计学经常采用的技术,我们可以从大规模数据集中抽取出能够反映大数据集的样本,然后对大数据集样本进行挖掘。
序列模式挖掘概念
概念:输入一个序列数据库,输出所有不小于最小支持度的序列的过程。
应用领域:预测用户购买行为、预测Web访问模式、预测天气变化、预测时长趋势。
序列模式挖掘和关联规则挖掘的区别
序列模式是找出序列数据库中数据之间的先后顺序。比如:用户访问某个网站各个网页的顺序。
关联规则是找出事务数据库中数据之间的并发关系。比如:啤酒和尿布
关联规则挖掘不关注事务之间的先后顺序,序列模式挖掘需要考虑序列间的先后顺序。
经典算法
AprioriAll算法
定义
每一次交易包含customer-id,transaction-time和items
序列s的支持度(support)是指所有序列中包含序列s的个数(百分比)
满足最小支持度(minimum support)的序列称为大序列(large sequence)。
大序列中的所有最长序列就称为序列模式(sequential pattern)
项集i的支持度是指所有序列中包含项集i的个数