
Hadoop
木木与呆呆
Java程序员,专注Java编程技术,开发以后台为主前台为辅,目前投身Hadoop大数据以及Ranger安全开发,活跃在大数据开源社区,同时推荐多种高效便捷的开发工具,分享自己的各种经验技巧总结。
展开
-
Storm集群安装Version1.0.1开启Kerberos
Storm集群安装,基于版本1.0.1, 同时开启Kerberos安全认证, 使用apache-storm-1.0.1.tar.gz安装包。 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 UI, nimbus zdh-237 storm core,nimbus supervisor zdh-238 storm supervisor,worker,LogWriter ...原创 2019-01-28 23:21:13 · 937 阅读 · 0 评论 -
Hadoop常用命令总结
查看帮助 hadoop fs -help 列出文件系统由哪些块构成 hadoop fsck / -files -blocks 查看磁盘 hadoop fs -df -h / 创建目录 hadoop fs -mkdir user 列出根目录 hadoop fs -ls / 列出所有文件 hadoop fs -ls . 递归查看根目录 hadoop fs -lsr /(过时的用法) hadoo...原创 2018-09-06 17:42:00 · 378 阅读 · 0 评论 -
Hadoop编译打包记录
Hadoop编译打包,基于2.7.2版本的源码。 # 打包过程中需要使用到的工具 java -version mvn -version ant -version type protoc type cmake # Hadoop 2.7.2源码下载地址 http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar....原创 2018-09-06 17:37:00 · 387 阅读 · 0 评论 -
Hadoop问题解决记录
# 1.解决Unable to load native-hadoop library for your platform告警 安装Hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable 环境:Red Hat 6.4 64...原创 2018-09-06 17:36:00 · 268 阅读 · 0 评论