超级会员免费看
Alluxio作为大数据访问层，位于计算框架和持久化存储之间，提升数据访问速度。它由Master、Worker和Client三部分组成，提供高可用性和数据一致性。Master包含Leading、Standby和Job Master，负责元数据管理和任务调度。Worker负责数据存储和管理，而Client处理用户交互。数据流包括读（本地缓存命中、远程缓存命中、缓存未命中、绕过缓存）和写（同步和异步写入策略）。此外，Alluxio支持作业服务，用于执行数据加载、迁移、持久化等操作。
1. 简介
Alluxio作为大数据和机器学习生态系统中的新增数据访问层，可位于任何持久化存储系统（如Amazon S3、Microsoft Azure 对象存储、Apache HDFS或OpenStack Swift）和计算框架（如Apache Spark、Presto或Hadoop MapReduce）之间，但是Alluxio本身并非持久化存储系统。使用Alluxio作为数据访问层可带来诸多优势：
- 对于用户应用和计算框架而言，Alluxio提供的快速存储可以让任务（无论是否在同一计算引擎上运行）进行数据共享，并且在同时将数据缓存在本地计算集群。因此，当数据在本地时，Alluxio可以提供内存级别的数据访问速度；当数据在Alluxio中时，Alluxio将提供计算集群网络带宽级别的数据访问速度。数据只需在第一次被访问时从底层存储系统中读取一次即可。因此，即使底层存储的访问速度较慢，也可以通过Alluxio显著加速数据访问。为了获得最佳性能，建议将 Alluxio与集群的计算框架部署在一起。
- 就底层存储系统而言，Alluxio将大数据应用和不同的存储系统连接起来，因此扩充了能够利用数据的可用工作负载集。由于Alluxio和底层存储系统的集成对于应用程序是透明的，因此任何底层存储都可以通过Alluxio支持数据访问的应用和框
订阅专栏 解锁全文
扫一扫
2767
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
