mac 下编译hadoop3.1.2

最新推荐文章于 2024-11-29 11:34:56 发布

旋转的沉醉

最新推荐文章于 2024-11-29 11:34:56 发布

阅读量2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Mac hadoop

本文链接：https://blog.youkuaiyun.com/u011666720/article/details/99674659

本文详细记录了在Mac系统下编译Hadoop 3.1.2源码的过程，包括遇到的问题及解决方案。从安装maven、openssl、cmake和protobuf 2.5.0，到解决编译错误，如找不到特定jar包、openssl依赖问题等。通过设置环境变量、安装缺失库，最终成功编译并完成checknative检查。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用brew安装的hadoop默认版本使用时总是提示

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

不能忍，简单方法修改hadoop log level，永久方法是自己重新编译hadoop源码，然后将编译后的native放到brew安装的源码里。

官网给的解释是：

The pre-built 32-bit i386-Linux native hadoop library is available 
as part of the hadoop distribution and is located in the lib/native directory. 
You can download the hadoop distribution from Hadoop Common Releases.

The native hadoop library is supported on *nix platforms only. 
The library does not to work with Cygwin or the Mac OS X platform.

编译之前准备：

安装maven，openssl，cmake, protocbuf2.5.0(一定要用2.5，其他版本不行)

1.brew install maven openssl cmake

2.安装protobuf 2.5

官网上已经找不到2.5的tar.gz包了，从网上找了一份放网盘了链接: https://pan.baidu.com/s/1VoCtXBayeDKc3m7N9Jniiw 提取码: bdvg。安装过程省略

3. 据说编译过程中会在$JAVA_H