Hadoop伪分布式搭建

本文详细讲解了网络分类,包括局域网、城域网和广域网的区别,重点介绍了公有和私有IP地址的分配,并深入剖析了Linux权限管理,涉及文件权限、用户组和root权限。

网络基础

网络分类(记忆)

  1. 局域网(Local Area Network,LAN)是指范围在几百米到十几公里内办公楼群或校园内的计算机相互连接所构成的计算机网络。
  2. 城域网(Metropolitan Area Network,MAN)所采用的技术基本上与局域网相类似,只是规模上要大一些。城域网既可以覆盖相距不远的几栋办公楼,也可以覆盖一个城。
  3. 广域网(Wide Area Network,WAN)通常跨接很大的物理范围,如一个国家。

IP是英文Internet Protocol的缩写,意思是“网络之间互连的协议”,也就是为计算机网络相互连接进行通信而设计的协议

IP地址类型分为:公有地址、私有地址

公有地址

公有地址(Public address)由Inter NIC(Internet Network Information Center因特网信息中心)负责。这些IP地址分配给注册并向Inter NIC提出申请的组织机构。通过它直接访问因特网。

私有地址(重点)

私有地址(Private address)属于非注册地址,专门为组织机构内部使用。以下列出留用的内部私有地址:

A类 10.0.0.0--10.255.255.255

B类 172.16.0.0--172.31.255.255

C类 192.168.0.0--192.168.255.255

IP地址按类型可以分为三类:

类别

最大网络数

IP地址范围

最大主机数

私有IP地址范围

A

1262^7-2)

1.0.0.0-127.255.255.255

16777214

10.0.0.0-10.255.255.255

B

16384(2^14)

128.0.0.0-191.255.255.255

65534

172.16.0.0-172.31.255.255

C

2097152(2^21)

192.0.0.0-223.255.255.255

254

192.168.0.0-192.168.255.255

网络运维相关技能:ip分类、子网划分、划分vlan、ACL、综合布线、各种Serve的搭建。

网络相关命令

ping

作用:检测当前主机与目标主机之间的连通性(不是100%准确,有的服务器是禁ping)

语法:#ping 主机地址(ip地址、主机名、域名等)

netstat

作用:表示查看网络的连接信息

语法:#netstat  -tnlp            (-t:tcp协议,-n:将字母转化成数字,-l:列出状态为监听,-p:显示进程相关信息)

          #netstat  -an              (-a:表示全部,-n:将字母转化为数字)

TCP/IP协议需要使用这个命令。

traceroute

作用:查找当前主机与目标主机之间所有的网关(路由器,会给沿途各个路由器发送icmp数据包,路由器可能会不给响应)。

该命令不是内置命令,需要安装,但是目前的已经安装好了(之前选了开发工具)。

语法:#traceroute  主机地址

arp

地址解析协议,即ARP(Address Resolution Protocol),是根据IP地址获取(MAC)物理地址的协议

权限管理

权限概述总述:Linux系统一般将文件可存/取访问的身份分为3个类别:owner、group、others,且3种身份各有read、write、execute等权限。

身份介绍Owner身份(文件所有者,默认为文档的创建者)由于Linux是多用户、多任务的操作系统,因此可能常常有多人同时在某台主机上工作,但每个人均可在主机上设置文件的权限,让其成为个人的“私密文件”,即个人所有者。因为设置了适当的文件权限,除本人(文件所有者)之外的用户无法查看文件内容。例如某个MM给你发了一封Email情书,你将情书转为文件之后存档在自己的主文件夹中。为了不让别人看到情书的内容,你就能利用所有者的身份去设置文件的适当权限,这样,即使你的情敌想偷看你的情书内容也是做不到的。

Group身份(与文件所有者同组的用户)与文件所有者同组最有用的功能就体现在多个团队在同一台主机上开发资源的时候。例如主机上有A、B两个团体,A中有a1,a2,a3三个成员,B中有b1,b2两个成员,这两个团体要共同完成一份报告F。由于设置了适当的权限,A、B团体中的成员都能互相修改对方的数据,但是团体C的成员则不能修改F的内容,甚至连查看的权限都没有。同时,团体的成员也能设置自己的私密文件,让团队的其它成员也读取不了文件数据。在Linux中,每个账户支持多个用户组。如用户a1、b1即可属于A用户组,也能属于B用户组【主组和附加组】。

Others身份(其他人,相对于所有者)这个是个相对概念。打个比方,大明、二明、小明一家三兄弟住在一间房,房产证上的登记者是大明(owner所有者),那么,大明一家就是一个用户组,这个组有大明、二明、小明三个成员;另外有个人叫张三,和他们三没有关系,那么这个张三就是其他人了。同时,大明、二明、小明有各自的房间,三者虽然能自由进出各自的房间,但是小明不能让大明看到自己的情书、日记等,这就是文件所有者(用户)的意义。

Root用户(超级用户)在Linux中,还有一个神一样存在的用户,这就是root用户,因为在所有用户中它拥有最大的权限,所以管理着普通用户。

Hadoop伪分布式搭建教程如下: ### 安装前准备 - **系统更新与SSH安装**:执行`sudo apt update && sudo apt upgrade -y`更新系统,再执行`sudo apt install openssh-server`安装SSH [^3]。 - **安装Java**:Hadoop 3.x需要Java 8/11,可通过`sudo apt install openjdk-11-jdk -y`安装,使用`java -version`验证安装 [^3]。 - **配置SSH免密登录**:Hadoop脚本依赖此功能。执行`ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa`生成密钥,`cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys`将公钥添加到授权文件,`chmod 600 ~/.ssh/authorized_keys`设置文件权限,最后`ssh localhost`测试免密登录 [^3]。 ### 下载并配置Hadoop - **下载Hadoop**:下载Hadoop 3.3.6稳定版,命令为`wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.6/hadoop-3.3.6.tar.gz` [^3]。 - **解压并重命名**:使用`tar -xzvf hadoop-3.3.6.tar.gz -C ~/`将其解压到用户目录,再用`mv ~/hadoop-3.3.6 ~/hadoop`重命名简化路径 [^3]。 - **配置环境变量**:将以下内容添加到`~/.bashrc`文件中: ```bash export HADOOP_HOME=~/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 ``` 然后执行`source ~/.bashrc`使配置生效 [^3]。 ### 安装操作 - **上传压缩包**:下载好Hadoop压缩包之后,将其上传至虚拟机的`home/hadoop/software/`路径 [^1]。 - **创建目录**:在`home/hadoop/software/`路径下创建`hadooptmp`目录 [^1]。 ### 配置伪分布式平台 伪分布式需要修改四个文件,以下是具体操作: - **core-site.xml**:使用`sudo gedit ./etc/hadoop/core-site.xml`打开文件进行修改,修改后属性将覆盖主Hadoop jar文件中的默认值 [^2]。 - **其他配置文件**:还需对`hdfs-site.xml`、`mapred-site.xml`、`log4j.properties`、`taskcontroller.cfg`等文件进行相应修改,修改顺序无特殊要求 [^2]。 - **Yarn配置示例**:在配置文件中可添加如下内容: ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` - **环境变量配置**:可通过`vim /etc/profile`配置Hadoop环境变量,示例如下: ```bash export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值