5、“Atrain”数据结构与大数据的Atrain分布式系统

“Atrain”数据结构与大数据的Atrain分布式系统

1. 大数据的存储模型

在许多实际场景中，尤其是工程、统计和科学问题里，大数据可视为n - SM（n - SL）。为实现大小为m1×m2×m3× …×mn的同质数据的n - SM（n - SL）S，需要使用高度为n的MT，其结构如下：
- 上层Ln
- 中层Ln - 1
- 中层Ln - 2
- ……
- 中层L3
- 中层L2
- 下层L1

1.1 异质大数据的存储模型

1.1.1 矩阵（Hematrix，HM）

矩阵是一个矩形逻辑数组，包含不同数据类型的对象。不同行的数据是异质的，但每行内部的数据是相同的。例如，矩阵H的不同行可能包含图像、DOC文件、PDF文件、整数、字符串等对象，但每行内的对象类型相同。在逻辑结构HM中，对于给定的行，所有单元格存储各自内容所需的内存空间相同，但不同行的单元格所需的内存空间不同。

1.1.2 螺旋矩阵（Helatrix，HL）

螺旋矩阵与矩阵类似，但它的单元格可能包含ε元素。术语“螺旋矩阵”代表“异质矩阵”。每个矩阵都是螺旋矩阵，但反之不成立。例如，一个5×7阶的螺旋矩阵H1作为3 - SHL的底层，如下所示：
| | 列1 | 列2 | … | 列7 |
| — | — | — | — | — |
| 行1 | h11 | h12 | … | h17 |
| 行2 | h21 | h22 | … | h27 |
| 行3 | h31 | h32 | … | h37 |
| 行4 |