- 博客(8)
- 收藏
- 关注
RSS订阅原创 HDFS---添加白名单
HDFS—添加白名单 由于集群中添加克隆节点较为容易，如果不做如何措施，都可访问到NameNode. 所以，创建一份白名单，添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 配置白名单的具体步骤如下 1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 [root@hadoop03 hadoop]# touch dfs.hosts [root@hadoop03 hadoop]# vim dfs.
2020-05-11 13:56:27
459
原创 Hadoop源码编译最后一步出现错误
hadoop源码编译出现错误 在编译hadoop源码时，最后一步通过maven执行编译命令出错 [root@hadoop06 hadoop-2.7.2-src]# mvn package -Pdist,native -DskipTests _Dtar 出现的错误 [INFO] Scanning for projects... Downloading: http://repo.maven.apac...
2020-05-07 18:03:57
792
3
原创 完全分布式----集群时间同步
完全分布式----集群时间同步 时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。 配置时间同步具体实操： 1. 时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@hadoop03 ~]# rpm -qa | grep ntp 出现如下三句，就是已经安装 ntp-4.2.6p5-10.el6.centos...
2020-05-07 10:24:55
344
原创 Hadoop常用端口号总结
Hadoop 常用端口总结 在我的Hadoop学习之路上持续更新，冲鸭 端口 50070 ：查看HDFS 端口 8088 ：查看mapreduce，程序运行进程
2020-05-06 20:43:45
403
原创 完全分布式----集群启动停止方式总结
完全分布式----集群启动停止方式总结 1 各个模块分开启动/停止 常用方式（配置SSH是前提） 1.1 整体启动/停止HDFS start-dfs.sh / stop-dfs.sh 1.2 整体启动/停止yarn strat-yarn.sh / stop-yarn.sh 2 各个服务器组件逐一启动/停止 2.1 分别启动/停止HDFS组件 hadoop-daemon.sh start/sto...
2020-05-06 20:38:37
406
原创 完全分布式--集群群起
完全分布式——集群群起 超级关键关键关键★ 集群部署规划 1.配置slaves 首先在hadoop03中配置 [root@hadoop03 ~]# vim /opt/module/hadoop-2.5.0-cdh5.3.6/etc/hadoop/slaves hadoop03 hadoop04 hadoop05 在文件中添加的内容，不允许有的多余的空格，以及空行 在hadoop03中使用xs...
2020-05-06 18:13:41
329
原创 SSH无密登陆配置
SSH无密登陆配置 1. 配置SSH 基本语法 ssh 另一台电脑的ip 地址 即可登陆到另外一台设备上 [root@hadoop05 hadoop-2.5.0-cdh5.3.6]# ssh hadoop03 The authenticity of host 'hadoop03 (192.168.235.130)' can't be established. RSA key fingerp...
2020-05-06 16:13:59
302
原创 完全分布式-集群单点启动
完全分布式–集群单点启动 记录一下自己学习hadoop时的一些知识点 集群在之前已经部署好 windows和linux的主机映射也都设置好 对应： centos03 hadoop03 192.168.235.130 centos04 hadoop04 192.168.235.131 centos05 hadoop05 192.168...
2020-05-06 14:22:15
416
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人