13、机器学习中的特征工程与选择

机器学习中的特征工程与选择

在机器学习中，特征工程和特征选择是提升模型性能的关键步骤。下面将详细介绍简单文本特征处理、特征选择的方法以及实际应用案例。

简单文本特征处理

数据中除了事件时间，还包含基本的文本特征。但与日期时间特征一样，任意文本不能直接输入到机器学习算法中，需要进行处理将其转换为数值或分类类型。常用的方法是词袋法（Bag of Words）。

词袋法原理

词袋法的原理很简单：统计文本中每个单词的出现次数，并在数据集中为该单词添加一个计数列。但实际操作中会遇到一些复杂因素。

• 特征同质性 ：输入到机器学习算法的特征必须具有同质性，即数据集中所有实例的特征数量必须相同，且对应相同的潜在概念。例如，如果第一个实例中“family”出现了5次，而第二个实例中未出现，那么需要决定是否为“family”添加一列，并将第二个实例的计数设为0，或者两个实例都不包含该列。通常会根据整个数据集的文本语料来决定哪些单词有对应的列。
• 停用词处理 ：当选择前100个出现次数最多的单词来创建计数列时，会得到一些常见但无用的单词的计数列，如“is”“and”“the”等。在自然语言处理领域，这些单词被称为停用词，通常在进行词袋计数之前会将它们从文本中清除。
• 数据稀疏性 ：词袋数据集很快会变得庞大且稀疏，大部分特征列填充的是零，因为一个特定的单词通常不太可能出现在随机的文本段落中。不过，一些机器学习算法（如朴素贝叶斯分类器）能很好地处理稀疏数据，而大多数其他算法则不行。