深入解析missingno数据缺失可视化工具的高级配置

深入解析missingno数据缺失可视化工具的高级配置

missingno Missing data visualization module for Python. 项目地址: https://gitcode.com/gh_mirrors/mi/missingno

missingno是一个强大的Python数据缺失可视化工具，能够帮助数据分析师和数据科学家直观地理解数据集中的缺失情况。本文将深入探讨missingno的高级配置选项，帮助您更高效地使用这个工具。

数据排序与过滤功能

在处理大型数据集时，我们经常需要对数据进行预处理，以便更清晰地观察缺失模式。missingno提供了两种实用的数据处理方法：

1. 空值过滤(nullity_filter)

这个方法允许您基于列的完整性来筛选数据，特别适合处理包含大量变量的数据集。

主要参数说明：

• filter：控制筛选方向
  • 'top'：筛选完整性最高的列
  • 'bottom'：筛选完整性最低的列
• n：限制返回的最大列数
• p：完整性百分比阈值
  • 当filter='bottom'时，p=0.9表示返回完整性不超过90%的列
  • 当filter='top'时，p=0.9表示返回完整性至少90%的列

使用示例：

# 筛选出最多15列不完整的数据
filtered_data = msno.nullity_filter(data, filter='bottom', n=15, p=0.999)
msno.matrix(filtered_data.sample(250))

2. 空值排序(nullity_sort)

这个方法通过完整性对行进行重新排序，不影响原始数据，主要用于矩阵可视化。

参数说明：

• sort：排序方向
  • 'ascending'：升序排列（缺失最多的在前）
  • 'descending'：降序排列（完整性最高的在前）

使用示例：

sorted_data = msno.nullity_sort(data, sort='descending')
msno.matrix(sorted_data.sample(250))

这些方法也可以直接在可视化函数中使用：

msno.matrix(data.sample(250), filter='top', n=5, p=0.9, sort='ascending')

可视化配置选项

missingno提供了多种可视化图表类型，每种都有其特定的配置参数。

通用参数

所有可视化类型(matrix, bar, heatmap, dendrogram, geoplot)都支持以下参数：

• figsize：图表尺寸，默认为(20, 12)
• fontsize：字体大小，默认为16
• labels：是否显示列名
  • 对于矩阵图，当变量≤50时默认为True，否则为False
  • 对于树状图和热力图，默认为True
• inline：是否直接显示图表，默认为True（直接显示）

矩阵图(matrix)特有参数

• sparkline：是否显示迷你趋势图，默认为True
• freq：时间序列数据的频率设置
• width_ratios：矩阵与迷你趋势图的宽度比例，默认为(15, 1)
• color：填充颜色，默认为(0.25, 0.25, 0.25)

条形图(bar)特有参数

• log：是否使用对数刻度，默认为False
• color：填充颜色，默认为(0.25, 0.25, 0.25)

热力图(heatmap)特有参数

• cmap：使用的颜色映射，默认为RdBu

树状图(dendrogram)特有参数

• orientation：图表方向
  • ≤50列时默认为top

  • 50列时默认为left

• method：聚类使用的链接方法，默认为average

地理图(geoplot)特有参数

• x和y或coordinates：需要绘制的点坐标（必填）
• by：用于分组的列
• geometry：几何形状的哈希表
• cutoff：四叉树显示中每个矩形的最小观测数
• histogram：是否显示直方图，默认为False

使用Matplotlib进行高级定制

如果内置的配置选项无法满足您的需求，可以通过Matplotlib进行更深入的定制。

方法是将inline参数设为False，这样会返回Matplotlib的Axis对象，然后您可以使用Matplotlib的各种方法进行进一步调整。

示例：调整树状图y轴标签大小

mat = msno.dendrogram(collisions, inline=False)
mat.axes[0].tick_params(axis='y', labelsize=30)

通过掌握这些高级配置选项，您可以更灵活地使用missingno工具，创建出更符合您需求的数据缺失可视化图表，从而更深入地理解您的数据集。

missingno Missing data visualization module for Python. 项目地址: https://gitcode.com/gh_mirrors/mi/missingno