阿里云Hadoop集群部署(2)-配置多台机器互信认

阿里云集群互信任配置
最新推荐文章于 2024-09-07 00:17:30 发布
原创 最新推荐文章于 2024-09-07 00:17:30 发布 · 467 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#阿里云 #集群 #部署

前面购买好阿里云机器后,接下来进行集群机器间的互信任操作

购买配置请参考

  • 小技巧 在xshell中同时操作多个窗口(鼠标右键,选择如下如图箭头所示)

在这里插入图片描述

  1. 创建用户
[root@hadoop002 ~]# useradd hadoop
  1. 上传文件(root)
[root@hadoop001 software]$ ll
total 509828
-rw-r--r-- 1 root root 311585484 Nov 26 14:23 hadoop-2.6.0-cdh5.7.0.tar.gz
-rw-r--r-- 1 root root 173271626 Nov 26 14:23 jdk-8u45-linux-x64.gz
-rw-r--r-- 1 root root  37191810 Nov 26 14:23 zookeeper-3.4.13.tar.gz
  1. 复制到每台机器上

scp root@ip/home/hadoop/software

[hadoop@hadoop001 software]$ hostname -i
172.18.97.104
[hadoop@hadoop001 software]$ scp root@172.18.97.104/home/hadoop/software
  1. 修改上传软件权限
[root@hadoop001 ~]# chown -R hadoop:hadoop /home/hadoop/software/*
  1. 修改hosts文件
[root@hadoop001 ~]# vim /etc/hosts

172.18.97.104   hadoop001       hadoop001
172.18.97.106   hadoop002       hadoop002
172.18.97.105   hadoop003       hadoop003
配置多台机器信任</
最低0.47元/天 解锁文章

新学期VIP享超值加赠
Hadoop集群化搭建（三）配置SSH互信
Data Proc
06-30 1590
软件环境 操作系统 CentOS 6.4 64bit (Basic Server + 桌面环境) 虚拟机 VMware Workstation 12.0 JDK 1.7 1 克隆虚拟机 对已经配置好的虚拟机(Master)进行两次链接克隆 2 机器命名 root身份登陆三台虚拟机 vim /etc/sysconfig/network
Hadoop集群建立三：三台虚拟机信任互联通信
chen_0115的博客
10-17 638
生成密钥私钥 1、su hadoop 2、（在Hadoop01上）ssh-keygen -t rsa 三回车 3、查看 cd /home/hadoop/.ssh 4、在hadoop02与Hadoop03进行步骤1-3 5.（在hadoop02的hadoop）touch authorized_keys 6、（在hadoop01) scp id_rsa.pub hadoop@192.168.20.112:/home/hadoop/.ssh/id_rsa.pub1 7、（在...
hadoop批量创建互信脚本
szh1124的专栏
02-10 1160
1、hadoop安装的用户名和密码要统一 2、将IP地址写入一个文件： [root@vmhost hadoop]# cat ip.txt 192.168.1.101 192.168.1.102 192.168.1.103 3、互信脚本： #!/bin/sh DEST_USER=$1 PASSWORD=$2 HOSTS_FILE=$3 if [ $# -ne 3 ]; then e
配置两个Hadoop集群Kerberos认证跨域互信（两个集群互通）
qq_43688472的博客
02-03 5365
配置两个Hadoop集群Kerberos认证跨域互信 两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务）。 先决条件： 1）两个集群(IDC.COM和HADOOP.COM)均开启Kerberos...
阿里云环境下部署3台机器间的SSH互相信任和hosts文件配置
zhikanjiani的博客
04-11 808
一、配置多用户ssh互相信任 useradd hadoop su - hadoop mkdir app 确保app下有三个软件包 1、开始：rm -rf .ssh ssh-keygen 三台hadoop机器都执行这个操作 2、在hadoop001机器下：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 追加秘钥到这个信任文...
阿里云云原生一体化数仓 - 数据安全能力解读
阿里云云栖号
08-04 2415
云原生一体化数仓数据安全能力基于MaxCompute与DataWorks的组合能力，包括数据分级机制、敏感数据识别算法、用户权限级别和数据安全级别自动映射、数据脱敏、审批和权限回收流程、审计机制、开发生产环境隔离等安全能力，实现了端到端的安全管控能力。...
[测试]1.TPC-DS性能测试
weixin_44428807的博客
09-07 965
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark了解数据查询和分析的性能表现_对象存储(OSS)-阿里云帮助中心 (aliyun.com)
OpenStack Mitaka for Ubuntu 16.04 LTS 部署指南
热门推荐
Sam Wong
07-26 1万+
【声明】 欢迎转载，转载本文请注明作者和出处 https://www.zybuluo.com/ncepuwanghui/note/389373 http://blog.youkuaiyun.com/ncepuwanghui/article/details/52034515 本文主要参考OpenStack官方文档 OpenStack Documentation for Mitaka : Installati
服务器集群建立互信
neheqi的博客
03-30 460
#1.各台服务器添加集群host echo"10.8.56.47 lsxddazk-app-1 10.8.56.48 lsxddazk-app-2 10.8.56.49 lsxddazk-app-3 10.8.56.50 lsxddadubb-app-1 10.8.56.51 lsxddadubb-app-2 10.8.56.52 lsxddaweb-app-1 10.8.56.53 lsxddaweb-app-2 10.8.56.54 lsxddadb-ora-svr 10.8.56.55 lsxddad
配置两个Hadoop集群Kerberos认证跨域互信
Mrerlou的博客
06-29 1520
两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务)。先决条件：1)两个集群(IDC.COM和HADOOP.COM)均开启Kerberos认证2)Kerberos的REALM分别...
【简单】多台主机间ssh免密登录 hadoop集群互通
niuniuxxx的博客
08-11 754
问题 ： 我有台主机，如果两两都要建立ssh免密登录（和自己也建立），那么每台主机都要和其他台主机建立ssh免密登录，即要输入次密码。 目标： 减少操作次数到次。（局限：每台主机的用户名需一致） 思路： 1、设台主机中的一台为，先建立对其他主机的信任，再建立其他主机对的信任。此时已与所有主机建立互信，并生成了两个文件authorized_keys（表示可以免密登录到本机上的主机有哪些）和know_hosts（表示可以免密登录到哪些主机上）。 2、将上述两个文件分别拷贝到每台主机...
Hadoop集群搭建
zxl061的博客
11-05 1919
一、系统配置： 安装有CentOS7的虚拟机三台（对其进行规划），并且将网段设置为所要求的网段 hadoop01 192.168.51.129 hadoop02 192.68.51.130 hadoop03 192.168.51.131 1.如何设置网段（如果对网段没有要求，该步可以省略） （1）.点击VMware workstation pro16中的 编辑èVmnet
多机免密互信
weixin_30469895的博客
05-23 161
#设置一个空的私钥 ssh-keygen -f /root/.ssh/id_rsa -N "" #id_rsa.pub变成authorized_keys mv /root/.ssh/{id_rsa.pub,authorized_keys} #将.ssh目录整个拷贝到其他主机 scp -r /root/.ssh IP:/root 免除询问yes/no vim /et...
大数据学习之hadoop——07阿里云服务器搭建集群以及遇到的问题&解决办法
nothair的博客
03-17 598
0 购买完服务器可以自己改好密码 1 使用MobaXtem工具连接云服务器时用的是外网ip连接 2 修改/etc/hosts文件时应当写内网ip映射关系 3 在配置文件中修改时涉及到本机写内网映射 4 云服务器的防火墙是not running状态 不需要关闭 5 在控制台的网络与安全中添加你可能会开放的端口 50070 9000等等 6 在网页访问服务器上的hdfs文件系统时写法应该为...
hadoop分布式互信密钥
王坤华的博客
03-20 2406
主机hadoop101 1.把全部主机.ssh全部删除自带的.ssh 2.ssh-keygen -t rsa 3.ssh-coip-id hadoop101 4.ssh-coip-id hadoop102 4.ssh-coip-id hadoop103 主机hadoop102 1.ssh-coip-id hadoop101 2.ssh-coip-id hadoop102 3.ssh-coip-id hadoop103 主机hadoop103 1.ssh-coip-id hadoop101 2.ss
阿里云 经典网络内网实例互通设置方法
蚁人日记
12-06 2290
安全组是实例级别防火墙，为保障实例安全，设置安全组规则时要遵循最小授权原则，下面介绍四种安全的内网实例互通设置方法。 方法一：使用单IP地址授权 适用场景：适用于小规模实例间内网互通场景。 优点：以IP地址方式授权，安全组规则清晰，容易理解。 缺点：内网互通实例数量较多时，会受到安全组规则条数200条的限制，并且后期维护工作量比较大。 设置方法如下： 选择需要互通的实例，进入本实例安全组...
shell编写的多服务器自动互信脚本（安装ceph）
anqunluo5527的博客
06-12 313
脚本后续更新及迭代将由kkitDeploy项目代替 https://github.com/luckman666/kkitdeploy_server 请大家持续关注kkitDeploy 相信大家都使用过分布式存储，而在分布式存储中较为出色的非ceph莫属了，但是这里就不深入聊ceph啦，我们只是聊聊安装ceph时遇到的问题。 ceph需要多台主机进行ssh互信...
linux实现自动互信,Linux 使用shell脚本实现自动SSH互信功能
weixin_42652674的博客
05-09 123
说假设有一个1000台节点的Hadoop集群，要配置节点之间的SSH免密码登录，该如何用shell脚本实现？#!/bin/expect#循环1000台机器的IP地址，生成密钥文件authorized_keysfor ip in {cat ip.list}dossh user@$ip ssh-keygen -t rsa &>/dev/nullexpect{"yes/no" { sen...
shell批量互信脚本
OurWorld的博客
11-22 1890
通常情况下，有很多服务器，如果全部手动配置互信，无疑是毫无含金量的重复性工作，这里写了一个脚本，完美的solve了这个问题。 测试环境信息：hosts表 [root@ceph-node1 ~]# yum install expect -y [root@ceph-node1 ~]#cat /etc/hosts| grep -v 127 | grep -v :: | awk "{print
docker-compose多台机器部署hadoop集群
最新发布
07-21
### 三级标题：使用 Docker Compose 在多台机器上部署 Hadoop 集群 在多台机器上使用 `docker-compose` 部署 Hadoop 集群需要结合 Docker 的多主机网络配置以及服务编排能力。Docker Compose 本身主要设计用于单机多容器的编排，但在多节点部署场景中，可以通过一些额外的配置实现跨主机的容器通信和集群部署。 #### 1. 多主机网络配置 为了实现跨机器的容器通信，可以使用 Docker 的 `overlay` 网络模式，该模式允许容器在不同主机之间进行通信。需要先配置 Docker Swarm 模式来支持 `overlay` 网络的创建。 ```bash # 初始化 Swarm 模式 docker swarm init --advertise-addr <MANAGER-IP> # 添加其他节点到 Swarm 集群 docker swarm join --token <TOKEN> <MANAGER-IP>:2377 ``` #### 2. 编写 Docker Compose 文件 在 `docker-compose.yml` 文件中定义 Hadoop 的各个组件，如 `namenode`、`datanode`、`resourcemanager`、`nodemanager` 等，并指定使用 `overlay` 网络。 ```yaml version: '3.8' services: namenode: image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 container_name: namenode hostname: namenode ports: - "50070:50070" environment: - CLUSTER_NAME=test volumes: - namenode:/hadoop/dfs/data networks: - hadoop-net datanode: image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8 container_name: datanode hostname: datanode ports: - "9864:9864" environment: - CLUSTER_NAME=test - HDFS_CONF_dfs_datanode_data_dir=file:///hadoop/dfs/data volumes: - datanode:/hadoop/dfs/data networks: - hadoop-net networks: hadoop-net: driver: overlay volumes: namenode: datanode: ``` #### 3. 部署与运行 将 `docker-compose.yml` 文件放置在所有节点上，并使用 `docker stack deploy` 命令进行部署。 ```bash docker stack deploy -c docker-compose.yml hadoop-cluster ``` 该命令会在 Swarm 集群中启动定义好的服务，并将容器分布到各个节点上，同时确保容器之间通过 `overlay` 网络进行通信。 #### 4. 集群验证 部署完成后，可以通过访问 Hadoop 的 Web 界面或执行 Hadoop 命令行工具来验证集群是否正常运行。 ```bash # 进入 NameNode 容器 docker exec -it namenode /bin/bash # 执行 Hadoop 命令 hadoop fs -ls / ``` #### 5. 数据持久化与扩展性 在多节点部署中，确保数据卷的持久化非常重要。可以通过绑定宿主机的目录或使用分布式存储方案（如 NFS）来实现跨节点的数据共享[^3]。此外，Docker Compose 支持通过 `scale` 命令扩展服务实例数量，适用于需要增加 `datanode` 或 `nodemanager` 的场景。 ```bash docker service scale hadoop-cluster_datanode=3 ``` #### 6. 注意事项 - 网络延迟和带宽可能影响集群性能，建议在低延迟的网络环境中部署。 - 确保所有节点上的 Docker 版本一致，并且支持所需的网络和存储功能。 - 监控和日志管理是多节点部署的关键，建议集成 Prometheus 和 Grafana 等工具进行监控。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值