hadoop 伪分布式安装和全分布式安装

最新推荐文章于 2022-03-08 23:23:42 发布

巨石工作室

最新推荐文章于 2022-03-08 23:23:42 发布

阅读量6.7k

点赞数 3

文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/qq_31537341/article/details/111031097

版权

有anaconda、python、jupyter、tensorflow
pycharm 、hadoop、hive、hbase
pytorch 安装、python 爬虫
python pyspark 数据分析
spark数据分析
flink 数据分析
问题可以私信我，大家共同学习，互帮互助！！！
在这里插入图片描述
权限设置
sudo chmod 777 /usr/local
sudo echo “hadoop ALL=(ALL) NOPASSWD:ALL” >> /etc/sudoers

关闭防火墙
sudo systemctl status firewalld 检查状态
sudo systemctl stop firewalld

#把本地的ssh公钥文件安装到远程主机对应的账户下
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh-copy-id -i ~/.ssh/id_rsa.pub hduser@sdata11
ssh-copy-id -i ~/.ssh/id_rsa.pub hduser@sdata12

JDK
sudo apt-get update
sudo apt-get install openjdk-8-jdk
java -version
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

环境变量
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH= ${HADOOP_HOME}/bin:$ {JAVA_HOME}/bin: ${HADOOP_HOME}/sbin:$ PATH

core-site.xml

<!-- 指定HDFS（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/data</value>
    </property>

hdfs-site.xml

<property>
      <name>dfs.permissions</name>
      <value>true</value>
   </property>
<!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--The secondary namenode http server address and port. -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>localhost:9868</value>
    </property>

hadoop-env.sh
export JAVA_HOME=/usr/local/jdk

格式化
hadoop namenode -format
启动
start-all.sh