创建自己的特征和转换器

原创

于 2018-07-23 16:53:05 发布 · 536 阅读

CC 4.0 BY-SA版权

本文介绍了如何在数据集中创建新特征以提高算法准确率，并详细讲述了如何处理数据集中存在的问题，如字符串转数字、缺失值处理。接着，文章讨论了主成分分析（PCA）在减少数据冗余和提取主要信息方面的应用，解释了PCA如何找到低维特征组合来捕获数据的大部分信息，并展示了PCA在提高模型性能和可视化方面的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建新特征的数据

有时候，仅仅选择已有特征是不够的。我们需要在已有特征基础上创建新的特征。

一个效果好的新创建的特征，可以很有效的降低冗余信息，提高特征之间的相关性。对于算法准确率的提高有很好的促进作用。

接下来，加载一个新的数据集，从http://archive.ics.uci.edu/ml/datasets/Internet+Advertisements下载Advertisements（广告）数据集。保存到自己主目录下的Data文件夹中。下载ad.data和ad.names

接着，用pandas加载数据集。我们还是先指定文件的路径。

import os
import pandas as pd
import numpy as np
data_folder = os.path.join(os.path.expanduser("~"), "Data")
data_filename = os.path.join(data_folder, "Ads", "ad.data")

数据集存在几个问题，加载过程需要我们做些处理。问题一，前几个