centos基础环境，网络，关闭防火墙，映射，ssh，时间同步

Liguangyang01

已于 2022-05-17 16:39:14 修改

阅读量154

点赞数

分类专栏：大数据全栈开发文章标签： centos ssh hadoop

于 2022-05-17 12:59:30 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_46662378/article/details/124819315

版权

大数据全栈开发专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了在Linux环境下配置网络、关闭防火墙和SELinux，以及设置主机名和SSH免密登录。接着，搭建Hadoop集群，包括规划路径、配置HDFS参数、初始化及启动Hadoop。此外，还涵盖了简单的HDFS操作和YUM源的配置。通过这些步骤，读者可以了解并实践Linux系统管理和Hadoop集群的部署。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1基础设施：
设置网络：
设置IP
* vm的编辑->虚拟网络编辑器->观察 NAT模式的地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0
		DEVICE=eth0
		#HWADDR=00:0C:29:42:15:C2
		TYPE=Ethernet
		ONBOOT=yes
		NM_CONTROLLED=yes
		BOOTPROTO=static
		IPADDR=192.168.128.11
		NETMASK=255.255.255.0
		GATEWAY=192.168.128.2
		DNS1=223.5.5.5
		DNS2=114.114.114.114

设置主机名

vi /etc/sysconfig/network
		NETWORKING=yes
		HOSTNAME=node01

设置本机的ip到主机名的映射关系

vi /etc/hosts
		192.168.150.11 node01
		192.168.150.12 node02

关闭防火墙

service iptables stop
	chkconfig iptables off

关闭 selinux

vi /etc/selinux/config
SELINUX=disabled

做时间同步

yum install ntp -y
vi /etc/ntp.conf
server ntp1.aliyun.com
service ntpd start
chkconfig ntpd on

安装JDK：

rpm -i   jdk-8u181-linux-x64.rpm	
		*有一些软件只认：/usr/java/default
	vi /etc/profile     
		export  JAVA_HOME=/usr/java/default
		export PATH=$PATH:$JAVA_HOME/bin
	source /etc/profile   |  .    /etc/profile

ssh免密： ssh localhost 1,验证自己还没免密 2,被动生成了 /root/.ssh

ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
如果A 想免密的登陆到B：
A：
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
B：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
结论：B包含了A的公钥，A就可以免密的登陆
你去陌生人家里得撬锁
去女朋友家里：拿钥匙开门
2，Hadoop的配置（应用的搭建过程）
规划路径：
mkdir /opt/bigdata
tar xf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 /opt/bigdata/
pwd
/opt/bigdata/hadoop-2.6.5

vi /etc/profile	
	export  JAVA_HOME=/usr/java/default
	export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
	export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

配置hadoop的角色：
cd   $HADOOP_HOME/etc/hadoop
	必须给hadoop配置javahome要不ssh过去找不到
vi hadoop-env.sh
	export JAVA_HOME=/usr/java/default
	给出NN角色在哪里启动
vi core-site.xml
	    <property>
			<name>fs.defaultFS</name>
			<value>hdfs://node01:9000</value>
		</property>
	配置hdfs  副本数为1.。。。
vi hdfs-site.xml
	    <property>
			<name>dfs.replication</name>
			<value>1</value>
		</property>
		<property>
			<name>dfs.namenode.name.dir</name>
			<value>/var/bigdata/hadoop/local/dfs/name</value>
		</property>
		<property>
			<name>dfs.datanode.data.dir</name>
			<value>/var/bigdata/hadoop/local/dfs/data</value>
		</property>
		<property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
		</property>
		<property>
			<name>dfs.namenode.checkpoint.dir</name>
			<value>/var/bigdata/hadoop/local/dfs/secondary</value>
		</property>


	配置DN这个角色再那里启动
vi slaves
	node01

3,初始化&启动：
hdfs namenode -format
创建目录
并初始化一个空的fsimage
VERSION
CID

start-dfs.sh
	第一次：datanode和secondary角色会初始化创建自己的数据目录
	
http://node01:50070
	修改windows： C:\Windows\System32\drivers\etc\hosts
		192.168.150.11 node01
		192.168.150.12 node02
		192.168.150.13 node03
		192.168.150.14 node04

4，简单使用：
hdfs dfs -mkdir /bigdata
hdfs dfs -mkdir -p /user/root

5，配置yum源

1.进入yum源配置目录
#cd /etc/yum.repos.d

2.备份系统yum源
#mv CentOS-Base.repo CentOS-Base.repo.bak

3.下载网易163的yum源
wget http://mirrors.163.com/.help/CentOS6-Base-163.repo

4.将服务器上的软件包信息 现在本地缓存,以提高 搜索 安装软件的速度
#yum makecache

5.至此网络yum源配置完毕

6.在yum install安装新程序之前最好先执行以下命令

清除yum机制的本地缓存
#yum clean all 
升级软件
#yum update

6,验证知识点：
cd /var/bigdata/hadoop/local/dfs/name/current
观察 editlog的id是不是再fsimage的后边
cd /var/bigdata/hadoop/local/dfs/secondary/current
SNN 只需要从NN拷贝最后时点的FSimage和增量的Editlog