
大数据
文章平均质量分 94
大数据技术栈
研狗上岸
相信自己能做到比努力本身更重要
展开
-
docker部署ambari-2.7.3(大数据集群快速搭建)
① centos7自身没有yum工具 ② 安装git ③ 拉取远程仓库 ④ 开始安装 ⑤ 查看容器 2.配置ssh免密登录 我这里的三个容器的ip分别是① 修改主机名 172.17.0.2(amb-server) -> node3 172.17.0.3(amb1) -> node1 172.17.0.4(amb2) -> node2 ② 修改hosts文件,可以直接ping名字 ③ 生成密钥首先分别在这3个节点执行指令:ssh-keygen ,然后一直按回车键直到结束。此时你可以发现在原创 2020-12-16 16:43:21 · 9278 阅读 · 10 评论 -
docker部署Hadoop环境
大致分以下几步:依次执行如下步骤安装docker。如果有docker环境的可以跳过。 1.2 基础环境准备 1.2.1 创建基础的centos7镜像 拉取官方centos7镜像 通过build Dockfile生成带ssh功能的centos镜像 创建Dockerfile文件将如下内容写入Dockerfile 上述内容大概意思是:以centos镜像为基础,设置密码为wqe123,安装ssh服务并启动构建Dockerfile 将生成一个名为的镜像,可以通过查看将准备好的包放在当前目录下。和通过bu原创 2020-12-17 23:19:28 · 4410 阅读 · 1 评论 -
Hadoop常用指令
Hadoop常用操作总结 1.各个web页面地址 服务 端口号 HDFS页面 50070 YARN的管理界面 8088 ambari 8080 HistoryServer的管理界面 19888 Zookeeper的服务端口号 2181 Mysql的服务端口号 3306 Kafka的服务端口号 9092 azkaban界面 8443 2. HDFS的shell命令 功能 命令 查看指令 hadoop fs / hdfs dfs 查看hdfs原创 2020-12-17 23:22:32 · 3921 阅读 · 0 评论