数据采集项目实战-上

最新推荐文章于 2024-07-09 00:29:50 发布

张培根同学

最新推荐文章于 2024-07-09 00:29:50 发布

阅读量535

点赞数

分类专栏：学习记录文章标签： linux 大数据 mysql

本文链接：https://blog.youkuaiyun.com/TTDZS/article/details/128246505

版权

本文详细介绍了如何配置大数据集群的服务器，包括购买抢占式实例，设置跳板机，安装基本工具，创建用户并配置权限，设置服务器间免密登录，以及Zookeeper和HadoopHA的环境配置。通过对服务器进行安全组设置，关闭防火墙，创建用户，配置SSH免密登录，确保了集群的安全与高效管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

服务器准备

服务器购买

抢占式实例三台

此时采用bigdata102、bigdata103、bigdata104

集群(bigdata102、bigdata103、bigdata104)安全组只开放22端口

跳板机设置

本地用xshell连接服务器（ssh）

将bigdata102当作跳板机（公网ip，ssh连接22端口）、开隧道端口为10086，并在浏览器配置代理，只要是服务器内的web端口访问请求，都走10086端口代理

bigdata103、bigdata104通过跳板机代理，用内网ip连接ssh

bigdata102设置:公网ip连接，本地配置hosts

bigdata103、104连接设置：内网ip连接，配置代理

浏览器代理设置：

如此以来，就可以实现在三台服务器均只开放22端口的前提下，访问服务器内网的端口，比如hdfs的bigdata103:9870等等

安装基本工具

yum install -y  net-tools vim psmisc  nc  rsync  lrzsz  ntplibzstd openssl-static tree iotop git

关防火墙及开机自启

systemctl stop firewalld
systemctl disable firewalld.service
systemctl restart network

创建atguigu用户，修改密码

用root用户创建atguigu用户，密码可以简单点

useradd atguigu
passwd atguigu   #此命令执行之后，输入新密码

给atguigu用户配置root权限

vim /etc/sudoers

添加第三行：

## Allow root to run any commandsanywhere
root    ALL=(ALL)     ALL
atguigu   ALL=(ALL)     NOPASSWD:ALL

记得最后:wq！退出

创建文件夹，修改其所有文件权限为atguigu

mkdir /opt/module
mkdir /opt/software

chown atguigu:atguigu /opt/module
chown atguigu:atguigu /opt/software

修改hosts文件，配置映射（linux全改，windows只需映射bigdata102，其他的走代理）

sudo vim /etc/hosts

服务器间免密登录

三台服务器都创建atguigu用户，密码为1

在bigdata102上atguigu账户生成公钥和私钥

在bigdata103上atguigu账户生成公钥和私钥

在bigdata104上atguigu账户生成公钥和私钥

在bigdata102上root账户生成公钥和私钥

ssh-keygen -t rsa

bigdata102上atguigu账户将公钥发送到102、103、104

bigdata103上atguigu账户将公钥发送到102、103、104

bigdata104上atguigu账户将公钥发送到102、103、104

bigdata102上root账户将公钥发送到102、103、104

ssh-copy-id bigdata102
ssh-copy-id bigdata103
ssh-copy-id bigdata104

xcall脚本需要依赖pdsh，安装：

 sudo yum install -y pdsh

注意：昊哥的xsync脚本依赖xcall脚本，xcall又依赖pdsh包，局限性很大，出现了root用户都不能分发环境变量的bug，此处用老版本的xsync，如下：

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
   echo Not Enough Arguement!
   exit;
fi
#2. 遍历集群所有机器
for host in bigdata102 bigdata103 bigdata104
do
 echo ====================  $host ====================
   #3. 遍历所有目录，挨个发送
   for file in $@
   do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file);pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
   done
done

环境变量

sudo vim /etc/profile.d/my_env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk8
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$JAVA_HOME/sbin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

最低0.47元/天解锁文章