
Hadoop
hadoop安装使用规范及错误问题收录
//承续缘_纪录片
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
不配置hosts文件,访问阿里云服务器hadoop集群的kafka
问题: 没有配置hosts文件,不能向hadoop集群的kafka发送数据 原因: 1.阿里云服务器返回的是内网IP 解决: 1.检查阿里云服务器的防火墙,及访问策略。释放相关端口,否则将访问不到服务。 2.要配置vi /etc/hosts 外网ip : 主机名 比如 114.113.112.111 :kafka-test 3.配hosts文件映射公网 4.修改kafka/config/server.properties(将内网IP映射成外网ip) # The id of the broker.原创 2021-08-03 20:06:46 · 655 阅读 · 0 评论 -
hadoop集群搭建
hadoop集群搭建 1.准备虚拟机 1.准备一台最小化安装的虚拟机 2.修改配置文件 vi /etc/sysconfig/network-scripts/ifcfg-env33 onboot=yes 网卡接口配置 ONBOOT是指明在系统启动时是否激活网卡,只有在激活状态的网卡才能去连接网络,进行网络通讯 修改临时id 注意:新创建虚拟机不能使用vim,需要yum云安装 说清楚情况阿,一般linux默认不带vim的,都是vi。。。vim需要自己安装 3.重启network服务 systemct原创 2020-12-29 16:48:06 · 276 阅读 · 0 评论 -
Hadoop HA 重新格式化
1.停止hadoop所有服务 HADOOP_HOME/sbin/stop-all.sh 2.清除所有数据 rm -rf logs/ tmp/ 3.清除根目录下hadoop临时文件 rm -rf /tmp/hadoop/ 格式化的时候,在 /tmp/hadoop/dfs/journalnode/mycluster/current 目录下不为空。需要在三台机器下进行清空,只在一台是不行的,而且每次格式化还会生成新的文件,再次格式化还需要清空current下的文件。 4.在各台机器上启动journal原创 2021-11-12 16:22:10 · 3007 阅读 · 0 评论