ARM平台搭建Hadoop 3.3.0 集群

最新推荐文章于 2024-10-11 09:29:46 发布

Kevin.Zheng

最新推荐文章于 2024-10-11 09:29:46 发布

阅读量3.2k

点赞数 1

分类专栏： ARM使能文章标签： hadoop arm

本文链接：https://blog.youkuaiyun.com/Zheng_Zhenyu/article/details/108507554

版权

本文详细介绍了如何在基于ARM架构的鲲鹏920 CPU上，搭建Hadoop 3.3.0集群。从下载软件包到配置Hadoop Core、HDFS和YARN，再到执行Wordcount和TeraSort测试，验证了Hadoop在ARM架构上的功能可行性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2020年6月的苹果WWDC大会上，苹果正式公布了基于ARM架构的自研Mac芯片计划，使用ARM芯片的Mac不久就将与大家见面；而早在2019年Q1，华为已经发布了用于数据中心的ARM架构处理器鲲鹏920，并在华为云上上线相应的资源，性价比大幅领先同级X86产品；AWS也在随后发布了自研的基于ARM架构的Graviton2芯片并同时提供了相应的虚拟机资源。可以看到，在通用处理器市场，由于性价比方面的巨大优势，已经有越来越多的厂商开始转向ARM架构。

有了硬件之后，有多少软件能够平稳的运行在这些硬件平台上，就成了用户们最关心的问题。开源软件作为影响整个行业的风向标，领域中最主流的开源软件能否在硬件平台上跑起来、跑得好对硬件平台在该领域的生态发展起到决定性的作用。因此国内(华为、麒麟等)外(ARM、Linaro等)各公司的开发者在从底层的基础库、加速库到IAAS、PAAS平台，再到大数据、数据库等业务软件的各主流开源社区进行大力投入，目前也以及取得了一些关键成果。

大数据作为目前最主要的业务领域之一，对数据中心硬件的软件生态发展有着重要意义，因此也吸引了众多开发者的重点关注。Hadoop作为开源大数据领域的最核心项目，也成为了各公司重点投入的方向。经过半年的开发和推动，2020年7月14日，Hadoop发布了3.3.0版本，除了众多新功能之外，在其release note中（https://hadoop.apache.org/docs/r3.3.0/index.html）最显著位置还声明了该版本是Hadoop发布的首个官方支持ARM架构的版本。

本文将记录实际安装步骤以及过程中发现的问题，安装完成后将运行几个常见的任务，验证功能性。