20、交互式发现有趣子组集合

交互式发现有趣子组集合

在数据挖掘领域，子组发现旨在成为探索性数据分析的实用工具。然而，其广泛应用受到冗余和常见知识重复发现的阻碍。本文提出了一种交互式算法，允许用户在搜索过程中提供反馈，从而引导搜索朝着更有趣的子组方向进行。

1. 子组发现概述

子组发现是一种探索性数据分析任务，旨在找到数据集中在感兴趣属性上与整个数据集有显著偏差的子集。例如，在银行贷款场景中，可能会发现“用途为二手车”的贷款中有16%未偿还，而整体未偿还比例仅为5%。子组发现算法可以处理多种数据类型，包括简单的二进制数据、数值属性和结构化数据。为了量化子组的有趣性，人们提出了各种质量度量，通常会考虑偏差程度和子集大小。

不过，子组发现获得有趣结果通常是一项耗时的工作，需要子组发现方面的专业知识。这主要有两个原因：
- 发现的子组数量众多，其中许多是冗余的。
- 未考虑领域专家的背景知识。

为了解决这些问题，需要仔细调整算法参数并手动过滤结果，这需要数据分析师付出大量努力和专业知识，从而阻碍了子组发现作为数据探索工具的广泛应用。

为了应对子组发现中的模式爆炸问题，最近提出了多样化子组集合发现（DSSD）方法，其主要思想是将模式集挖掘集成到逐层搜索中，以在搜索过程中保持多样性。具体来说，使用启发式方法选择每层的束，从而实现多样化束搜索。

2. 案例研究：体育分析

为了说明现有方法的问题和本文提出方法的潜力，我们研究了子组发现在体育分析中的应用。在职业体育界，数据挖掘受到了广泛关注，而子组发现的优势在于其结果具有可解释性。

案例研究使用了包含波特兰开拓者队在2011/12赛季NBA比赛信息的数