Apache hadoop项目组宣布在hadoop3.x版本后，将采用内存+IO+磁盘相结合的数据处理方案，其中hdfs通过本地block计算，加入内存进行快速计算，通过IO共享计算区域，最终形成高效计算结果。这一重大改动标志着mapreduce计算模型的革新，值得业界期待。
Apache hadoop 项目组最新消息，hadoop3.x以后将会调整方案架构，将Mapreduce 基于内存+io+磁盘，共同处理数据
其实最大改变的是hdfs,hdfs 通过最近black块计算，根据最近计算原则，本地black块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果。
hadoop 3.0后会大改mapreduce 计算模型，就让我们拭目以待吧！
目前hadoop版本是2.6
hadoop3.0x 后要比spark快10倍！
最新推荐文章于 2021-07-01 22:02:48 发布
扫一扫
2787
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
