MATLAB如何使用 readtable 优化百万级别CSV文件的读取速度

---

前言

用于处理位于指定目录下的多个CSV文件，通过读取数据、处理日期列、转换分类数据、合并结果以及删除重复行，最终将处理后的数据保存为MAT文件。使用 readtable 读取数据，以提高读取效率，并通过向量化操作和逻辑索引提高代码效率。
方法 适用情况 速度 解析能力
readmatrix 纯数值数据 🚀 快 ❌ 不支持文本
readcell 混合数据（文本+数值+日期） 🐢 慢 ✅ 保留原始数据
readtable 混合数据，返回表格数据 ⚖️ 适中 ✅ 强大

二、代码

% ✅ 设置主目录路径，指向包含CSV文件的文件夹
mainFolder = '\CSV\'; 

% ✅ 获取主目录下的所有CSV文件
csvFiles = dir(fullfile(mainFolder, '*.csv'));

% ✅ 初始化一个空数组，用于存储所有CSV文件的处理结果
allData = [];

% ✅ 遍历所有CSV文件
for i = 1:length(csvFiles)
    % 获取当前CSV文件的完整路径
    csvFilePath = fullfile(mainFolder, csvFiles(i).name);
    
    % ✅ 使用 readtable 读取CSV文件，'PreserveVariableNames' 保留变量名
    T = readtable(csvFilePath, 'PreserveVariableNames', true);
    
    % ✅ 确保数据非空，并且列数足够（至少14列）
    if isempty(T) || size