23、深入了解Tall数组：处理大数据的利器

深入了解Tall数组：处理大数据的利器

一、Tall数组概述

在处理大数据时，传统的内存数组往往会遇到内存不足的问题。Tall数组则是专门为处理超出内存的数据而设计的，它由数据存储（datastore）支持。数据存储允许我们将大型数据集分割成小块，每次只处理能放入内存的部分，而不是一次性将整个数据集加载到内存中。Tall数组在此基础上，让我们可以使用常见的函数来处理这些超出内存的数据，就像处理内存中的MATLAB数组一样直观。

1.1 Tall数组的定义

由于数据不是一次性加载到内存中，Tall数组在第一维（即行数）上可以是任意大的。许多核心运算符和函数对Tall数组的处理方式与内存数组相同，MATLAB会在后台处理数据的分块和处理，使得像A + B这样的常见表达式也能处理大数据集。

1.2 Tall数组的优势

与内存数组不同，Tall数组通常在使用 gather 函数请求计算结果之前不会立即进行计算，这种延迟评估（deferred evaluation）让我们能够快速处理大型数据集。当最终使用 gather 请求输出时，MATLAB会尽可能合并排队的计算，减少对数据的遍历次数，从而提高执行效率。需要注意的是，由于 gather 会将结果作为内存中的MATLAB数组返回，因此要确保结果不会超出内存限制。

二、创建Tall表和Tall时间表

2.1 创建Tall表

Tall表类似于内存中的MATLAB表，但可以有任意数量的行。要从大型数据集中创建Tall表，首先需要为数据创建一个