Tachyon内存文件系统

最新推荐文章于 2021-08-25 21:07:29 发布

快乐的霖霖

最新推荐文章于 2021-08-25 21:07:29 发布

阅读量927

点赞数

CC 4.0 BY-SA版权

分类专栏：分布式与大数据系统分布式文件系统

本文链接：https://blog.youkuaiyun.com/chdhust/article/details/51629301

分布式与大数据系统同时被 2 个专栏收录

83 篇文章

订阅专栏

分布式文件系统

4 篇文章

订阅专栏

Tachyon作为一个位于大数据计算框架和存储系统之间的中间层，旨在解决数据共享的性能问题。通过内存单副本及lineage数据恢复技术，提供比HDFS更快的写性能，减少任务执行时间。它支持HDFS、S3和GlusterFS等后端文件系统，并通过ZooKeeper和Journal实现容错。Tachyon利用心跳机制进行通信和状态检查，确保系统稳定性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Tachyon内存文件系统

Tachyon是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

从软件栈的层次来看，Tachyon是位于现有大数据计算框架和大数据存储系统之间的独立的一层。它利用底层文件系统作为备份，对于上层应用来说，Tachyon就是一个分布式文件系统。

从Tachyon项目的介绍可以看到， tachyon解决Spark/MapReduce框架数据共享的性能问题。大数据业务一般是一个任务流，任务流由一组相互依赖的任务组成，一个任务的输出往往是另外一组任务的输入，任务间数据共享是一个强需求。最常见的数据共享方式是HDFS，这种方式性能低下，主要问题有： (1) HDD或者是SSD带宽都比较有限， (2) HDFS三副本写入性能损失较大， (3) 文件可能被多次缓存，浪费内存。 Tachyon的目标就是解决数据共享的性能问题，解决方法也很极端 —— 内存单副本。当然简单的内存单副本会导致数据丢失， Tachyon采用lineage数据恢复技术保证数据可靠性。根据相关论文的测试数据， Tachyon的写性能是HDFS的110倍，任务流执行时间降低到1/4。

如上图所示， tachyon介于存储系统和计算框架之间，缓存计算任务读写的文件，目前Tachyon支持HDFS, S3和GlusterFS这几个后端文件系统。引入Tachyon后， Spark/MapReduce任务程序不需要修改，但是Spark、MapReduce框架自身要做一个200~300行代码的小Patch，因为计算框架在产生输出之前，必须先将数据lineage关系告知Tachyon， Tachyon记录lineage信息到磁盘，用于实现数据的故障恢复。

如上图所示， Tachyon文件系统的架构非常类似HDFS，全局有一个Master管理元数据， Woker负责数据读写，文件数据存储到在Ramdisk中。

容错机制： 作为分布式文件系统，Tachyon具有良好的容错机制，Master和Worker都有自己的容错方式。

从之前的系统架构图中也可看出，Master支持使用ZooKeeper进行容错。同时，Master中保存的元数据使用Journal进行容错，具体包括Editlog——记录所有对元数据的操作，以及Image——持久化元数据信息。此外，Master还对各个Worker的状态进行监控，发现Worker失效时会自动重启对应的Worker。

对于具体的文件数据，使用血统关系（Lineage）进行容错。文件元数据中记录了文件之间的依赖关系，当文件丢失时，能够根据依赖关系进行重计算来恢复文件数据。