RuGe_Lee的博客

对于低维度数据集，或者高维度数据集在使用pca等方法降维后，有时需要根据标签画出3维图，不同类别标签使用不同颜色。如下图所示，x，y，z为数据特征，根据类别使用不同颜色。可见，特征混叠严重，需要更换降维方法。以下，将以 kaggle中Instant Gratification数据集（二分类数据集）为例，在使用pca降维后，根据类别使用不同颜色画图。

自定义搜索：IEEE导出搜索结果，之后使用pandas洗数据。

pandas数据上采样方法

我们之前的blog写了一个函数，拿到了数据类型的分布。但是，在基于sklearn中的pipeline机器学习机制下，我们希望可以把数据集中的数据类型划分为以下几个部分：1.含大量的空值的列（如一列中超过70%为空）1.数值数据（numerical），并且不含大量的空值2.低类别数的类别数据（categorical），如只含两类的类别数据，并且不含大量的空值3.中等类别数的类别数据，如含3-10类的类别数据，并且不含大量的空值4.高类别数的类别数据，可能类别接近于类似均匀，如一列中70%以

方法一：pandas_profiling输出分析以泰坦尼克号数据集为例，如果只是康康然后疯狂复制粘贴的话那没啥，但是如果想全流程自动化，就要把ProfileReport的结果用到接下来的数据处理中，不妨把结果输出到json文件。from pandas_profiling import ProfileReportimport pandas as pddf = pd.read_csv('train.csv',index_col=['PassengerId'])report = ProfileR

个性化定制输出报告，一般我们要修改参数或者配置文件。本文介绍了常用的参数，并且修改了配置文件的一部分来演示结果。

如果我们遇到UnicodeDecodeError，一般而言是因为编码错误。所以尝试其他编码是个不错的选择。但一一尝试速度较慢，我们不妨使用chardet库和pandas读文件的其他机制解决问题。chardet库可以帮我们检测可能的编码。import pandas as pdimport numpy as npimport chardet# look at the first ten thousand bytes to guess the character encodingwith

如果想在pandas中查看数据情况，我们一般使用describe方法，但是describe只对数值数据有效，对categorical数据无效，如果我们想要对所有的数据分析，不妨自己写一个简单的函数，对dataFrame的空值个数，类别个数，数据类型进行统计

dataFrame中，若空值已经被标注为了'unkown'或'?'之类的，isnull函数不可行，但是我们可以在读文件时设置，抑或检查 "?" 的存在并统计，还有先转化为nan，随后用我们熟悉的isnull处理。

我们可以使用如下代码：df = pd.DataFrame({'Yes': [50, 21, None, 70, 21], 'No': [131, 2, 98, 1, 3]})cols_with_missing = [col for col in df.columns if df[col].isnull().any()]print(cols_with_missing)for i in cols_with_missing: print(i + ': " + str(df[i].isnul

我们在运用pandas写机器学习的数据预处理时，数据清洗和建模部分有时候会觉得写的比较乱，维护和修改较为麻烦。不过，sklearn库中的Pipeline（流水线）较好地解决了这个问题，

在商业可视化领域，对于双特征的KDE等高线图，让等高线变化有了色彩的变化的感觉，两边的小图加阴影，也自定义了调色盘，设置了独特的主题

在IEEE搜索时，在查找关键词时，若选择相关度，被引用量可能很低，反之亦然，所以，我们导出搜索结果后使用pandas进行数据清洗，来解决问题（有代码，有解析）

在pandas中，如果需要查看column的类型，一般使用 df.dtypes方法，它将返回每个列的数据类型。但实践中，有时会出现需要包含多种数据类型的场景，或者dataFrame包含的表格出错，出现了多种数据类型。为了观察dataFrame中的所有类型在列中的分布情况，我们写了对应的检查函数。