4、数据挖掘与神经网络：数据表示的影响

数据挖掘与神经网络：数据表示的影响

1. 引言

计算机和信息技术的广泛应用催生了来自众多应用领域的海量数据仓库。若能运用合适的知识发现机制，从这些数据中提取隐藏但潜在有用的信息，它们将对未来决策产生重大贡献。

数据挖掘（DM）是数据库知识发现的一个阶段，旨在从丰富、不完整、模糊且随机的数据中提取有用信息和知识。它可定义为对大型复杂数据集进行自动或半自动的探索性数据分析，重点在于发现大型观测数据库中的模式和关系。现代统计和计算技术被用于挖掘大型数据库中的有用模式。数据挖掘结合了显式知识库、复杂分析技能和领域知识，以揭示隐藏的趋势和模式。通过数据挖掘形成的预测模型，能让分析师从现有数据中产生新的观测结果。数据挖掘方法可看作是统计计算、人工智能和数据库方法的结合，它是传统统计技术的延伸，而非替代。例如，其技术已应用于金融市场，以揭示隐藏信息并预测未来趋势，为企业和金融领域带来了增加收入、降低成本、提高市场响应能力和意识等竞争优势。在高等教育机构中，数据挖掘可用于发现隐藏趋势和模式，帮助预测学生成绩，如大学可通过数据挖掘方法预测学生毕业状态的准确率、是否能毕业以及各种相关结果。

本研究旨在探讨各种数据表示方式对预测性数据挖掘模型的影响。在预测任务中，同一个预测模型在不同数据表示的数据集上可能表现差异很大，即使这些数据集包含相同的数据。本研究聚焦于两种常用的预测性数据挖掘模型：神经网络（NN）和回归模型。使用了具有布尔目标的医疗数据集（威斯康星乳腺癌数据集）和商业数据集（德国信用数据集）进行实验，采用了七种数据表示方式：原始表示（As_Is）、最小 - 最大归一化、标准差归一化、Sigmoid 归一化、温度计表示、标志表示和简单二进制表示。

2. 数据挖掘