一分钟学会MATLAB-数据清洗（含完整代码）

数据清洗是数据分析过程中的一个重要步骤，目的是提高数据的质量，以便进行更有效的分析。在 MATLAB 中，有多种工具和函数可用于数据清洗。以下是一些常见的方法和技巧：
1. 导入数据
使用 readtable、readmatrix 或 readcell 函数从文件（如 CSV、Excel）导入数据。
data = readtable('data.csv');  % 读取CSV文件为表格

2. 查看数据
在清洗数据之前，首先要检查数据的结构和内容。
head(data);      % 查看前几行数据
summary(data);   % 查看数据的摘要信息

3. 处理缺失值
缺失值是数据清洗中常见的问题。MATLAB 提供了多种方法来处理缺失值。

1.查找缺失值:

  missingIdx = ismissing(data);  % 找到缺失值的位置

2.删除缺失值:

  dataCleaned = rmmissing(data);  % 删除包含缺失值的行

3.填充缺失值:

  dataFilled = fillmissing(data, 'linear');  % 用线性插值填充缺失值

4. 去除重复值
数据集中可能会有重复的记录，可以使用以下方法去除它们。
dataUnique = unique(data);  % 去除重复行

5. 数据类型转换
确保数据的类型正确。例如，将字符串转换为日期或分类变量。
data.Date = datetime(data.Date, 'InputFormat', 'yyyy-MM-dd');  % 转换为日期格式
data.Category = categorical(data.Category);  % 转换为分类变量

6. 处理异常值
识别并处理异常值可以通过图形化方法或统计方法实现。

4.使用箱线图:

  boxplot(data.Value);  % 可视化数据，识别异常值

5.根据阈值过滤:

  dataFiltered = data(data.Value < threshold, :);  % 删除超出阈值的行

7. 数据标准化和归一化
在分析前，标准化或归一化数据可以提高模型的表现。
dataNorm = (data - mean(data)) / std(data);  % 标准化
dataMinMax = (data - min(data)) / (max(data) - min(data));  % 归一化

8. 处理文本数据
文本数据的清洗包括去除多余空格、转换大小写等。
data.Text = strtrim(data.Text);  % 去除首尾空格
data.Text = lower(data.Text);     % 转换为小写

9. 使用 table 和 timetable
使用 table 和 timetable 数据结构可以更方便地进行数据处理和分析。
示例
下面是一个简单的完整示例，展示了如何清洗数据：
% 导入数据
data = readtable('data.csv');

% 查看数据
head(data);
summary(data);

% 处理缺失值
data = rmmissing(data);  % 删除缺失值

% 去除重复值
data = unique(data);

% 数据类型转换
data.Date = datetime(data.Date, 'InputFormat', 'yyyy-MM-dd');

% 处理异常值
threshold = 100;  % 设置阈值
data = data(data.Value < threshold, :);  % 过滤异常值

% 标准化
data.Value = (data.Value - mean(data.Value)) / std(data.Value);

通过以上步骤，你可以有效地清洗数据，使其准备好进行后续的分析和建模。