38、云硬件与软件：容器、编排与性能分析

云硬件与软件：容器、编排与性能分析

1. Tachyon分布式文件系统

Tachyon是一个分布式文件系统，它能够在集群计算框架间以内存速度实现可靠的数据共享。该系统有两个主要层次：
- 谱系层（Lineage Layer） ：用于跟踪生成数据输出的作业序列。
- 持久层（Persistence Layer） ：管理存储中的数据，主要用于异步检查点。持久层可以是任何基于复制的存储，如HDFS。

Tachyon采用主从架构，主节点有多个被动副本，每个集群节点上运行着工作守护进程来管理本地资源。谱系信息由主节点内的工作流管理器跟踪，该管理器会计算检查点的顺序，并与集群资源管理器交互以获取重新计算所需的资源。

每个工作节点使用RAM磁盘来存储内存映射文件，它继承了Spark的宽依赖和窄依赖概念来执行相关操作。Tachyon系统用约36000行Java代码实现，并使用ZooKeeper在主节点故障时选举新的主节点。

Tachyon谱系能够满足MapReduce、SQL以及Hadoop的需求，Spark也可以在Tachyon之上运行。与内存中的HDFS相比，Tachyon的写入吞吐量高110倍，对于实际工作负载，端到端延迟可提高四倍，还能减少高达50%的网络流量，因为许多临时文件在检查点之前就被删除了。来自Facebook和Bing的数据显示，它在重新计算时消耗的集群资源不超过1.65%。

2. 容器与Docker容器

2.1 容器概念的起源

容器的概念从chroot支持的文件系统扩展到包括进程ID在内的其他