MATLAB数据处理系列-重复数据的剔除

MATLAB数据处理-重复数据的去除

---

---

前言

假设100*8的矩阵中存在重复行，如何保留未重复的，剔除重复行，并按原始编排顺序进行保存？

---

一、函数

使用MATLAB中自带的unique函数，其格式为：

[uniqueData, ~, idx] = unique(data, 'rows', 'stable');

这里的’rows’表示按行进行去重，'stable’表示保留第一次出现的行。uniqueData是去重后的元胞数组，idx是每行在去重后数组中的索引，可以用来还原原始数组。

二、使用

1.若data为全部为数值型，可使用如下代码：

[uniqueRows, ~, idx] = unique(data,'rows','stable');
uniqueIdx = unique(idx);
uniqueA = data(uniqueIdx,:);

unique函数返回了idx中的唯一值，也就是每个重复行第一次出现时所在的索引，最终使用这些索引来提取A中的矩阵。
注意：这里使用的数据为数值型。

2.若data里面既含有数值型，又含有文本型，该如何处理？我们先将数据导入，这里提供两种方法。

（1）使用readtable函数读取含有文本型数据的Excel文件，再去除重复行。

%% 读取数据
filename = '路径\example.xlsx'; % 输入文件路径和文件名
sheet = 'Sheet1'; % 输入表格名称
data = readtable(filename,'Sheet',sheet);
%% 剔除重复行
[uniqueStrData, ~, idx] = unique(data(:,5:11), 'rows');
% 根据索引取出未重复的行
result = data(unique(idx), :);

（2）将excel文件读取成元胞数组，再去除重复行。

[a,b,c]=xlsread('路径\名称.xlsx','Sheet'); % 根据自己的文件名进行调整
% 注：a是Excel数字部分(矩阵形式)，b为Excel的文本内容(元胞数组形式)，c为Excel全部内容(元胞数组形式).

% 将元胞数组转换为字符串型
strData = string(c);

% 使用unique函数去除重复行,这里可以指定需要进行对比的列范围，
% 例如这里指定5到11列的内容作为比对行内容的基础
[uniqueStrData, ~, idx] = unique(strData(:,5:11), 'rows'); %这里只保存5:11列的内容

% 如果想依据5:11列的内容作为条件，在去除重复行的同时，保存所有列的内容，可使用如下代码
result = strData(unique(idx), :); % 使用这行代码的同时，上行代码必须运行，因为这里引用的上串代码中的idx

三、结束语

这就是本次讲解的内容，最近有点忙，未更新，下期见！