HaDoop Hive-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_66052129/article/details/138507785

BV1WY4y197g7

1.VMware 的配置

免密登录：

ssh-keygen -t rsa -b 4096

ssh-copy-id node1

ssh node2

2.JDK的部署

ln -s /export/server/jdk1.8.0_361 jdk

3.防火墙，SElinux，时间同步设置

(为访到)关闭防火墙:

 systemctl stop firewalld.service

禁止防火墙开机启动

 systemctl disable firewalld.service

4.云平台

什么是云平台
云平台也称云计算平台。云计算，顾名思义，就是将计算在云上运行。

那么在这里面的3个概念

云:通俗的理解就是远程计算机,并且是一组一堆,这些远程计算机协同工作构建出一个平台，对用户提供服务
计算:这是一个概念很大的名词，小了说可以认为是对业务数据进行计算分析的算力，不过通俗意义上，计算是指构建业务系统的各种需求
平台:将云(远程硬件资源)和计算(远程软件资源)组合在一起，就形成了一个平台，对用户提供各种各样的服务。

我们可以这样理解，云平台是:一个云上的平台，聚合了一些软硬件资源，为用户提供各种各样的远程服务

5.阿里云

6.UCloud

7.Hadoop理论

7.1 Hadoop理论

7.2 VMware Hadoop实践

https://hadoop.apache.org/

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

<configuration>
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://node1:8020</value>
 </property>

  <property>
   <name>io.file.buffer.size</name>
   <value>131072</value>
 </property>
</configuration>

<configuration>
  <property>
     <name>dfs.datanode.data.dir.perm</name>
     <value>700</value>
  </property>

    <property>
     <name>dfs.namenode.name.dir</name>
     <value>/data/nn</value>
  </property>

    <property>
     <name>dfs.namenode.hosts</name>
     <value>node1,node2,node3</value>
  </property>

    <property>
     <name>dfs.blocksize</name>
     <value>268435456</value>
  </property>

    <property>
     <name>dfs.namenode.handler.count</name>
     <value>100</value>
  </property>

    <property>
     <name>dfs.datanode.data.dir</name>
     <value>/data/dn</value>
  </property>

</configuration>

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

chown -R hadoop:hadoop /data

chown -R hadoop:hadoop /export

看见了就成功了：