时隔两周，Hadoop 3.1版本发布，支持GPU和FPGA

3月25日，Hadoop 3.0.1版本正式发布，这也让Hadoop正式迈入3.0时代。时隔两周，Apache Hadoop 3.1.0正式发布。与之前的版本（hadoop-3.0）相比，新版本具有许多重要的增强功能，比如支持GPU和FPGA。

不过，新版本暂不推荐在正式生产环境中使用。如果需要，请等待更稳定的3.1.1或者3.1.2版本。

以下简要介绍主要功能和改进：

• Yarn Service框架提供一流的支持和API来长期运行在YARN中的原生托管服务。简而言之，它作为一个容器管理平台管理YARN上的集装箱化服务，支持YARN中的容器集装箱和传统的基于容器的过程。

• YARN上的一流GPU调度和隔离（适用于docker和non-docker containers）。

• YARN上的一流FPGA调度和隔离（适用于docker和non-docker containers）。

• 在YARN中支持更多布局约束。这些约束对于应用程序的性能和弹性至关重要，尤其是那些包含长期运行容器的应用程序，如服务，机器学习和流式工作负载。

例如，将同一机器上的任务分配（相似性约束）以降低网络成本，扩展机器之间的分配（非相似性约束）以最小化资源干扰，或者允许达到特定节点组的分配数量（基数约束）以在两者之间取得平衡。放置的位置也会决定弹性。例如，放置在同一可用区域内的集群将同时脱机。

• 支持管理员为队列指定绝对资源（X内存，Y VCores，Z GPU等），而不是提供基于百分比的值。这让管理员可以更好控制给定队列配置所需的资源量。

• 提供的存储允许将存储在HDFS之外的数据映射到HDFS并从HDFS进行寻址。它通过向DataNode中的媒体集引入新的存储类型PROVIDED，构建异构存储。