(Hadoop3)完全分布式配置文件

最新推荐文章于 2025-03-11 15:16:17 发布
最新推荐文章于 2025-03-11 15:16:17 发布
阅读量1.4k 收藏 8
点赞数 2
分类专栏： # hadoop 大学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Python1One/article/details/108411707
版权

hdfs

vi hadoop.env.sh

export JAVA_HOME=/opt/jdk1.8

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

vi core.site.xml

<configuration>
 	<!-- 设置主节点 -->
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://master:8020</value>
        </property>
        <!-- 设置data存放路径 -->
        <property>
              <name>hadoop.data.dir</name>
              <value>/opt/data/hadoop/data</value>
         </property>
         <!-- 设置静态访问用户为root -->
        <property>
              <name>hadoop.http.staticuser.user</name>
              <value>root</value>
        </property>


        <!--兼容性配置 -->
        <!--配置superUser允许通过代理访问主机 -->
        <property>
              <name>hadoop.proxyuser.atguigu.hosts</name>
              <value>*</value>
        </property>
        <!--配置superUser允许通过代理的用户组 -->
        <property>
              <name>hadoop.proxyuser.atguigu.groups</name>
              <value>*</value>
        </property>
        <!--配置superUser允许通过代理的用户 -->
        <property>
              <name>hadoop.proxyuser.atguigu.users</name>
              <value>*</value>
        </property>
</configuration>

vi hdfs.site.xml

<configuration>
        <!-- 指定副本数 -->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>

        <!-- 指定NameNode数据存储目录 -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file://${hadoop.data.dir}/name</value>
        </property>

        <!-- 指定DataNode数据存储目录 -->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file://${hadoop.data.dir}/data</value>
        </property>

        <!-- 指定SecondaryNameNode数据存储目录 -->
        <property>
                <name>dfs.namenode.checkpoint.dir</name>
                <value>file://${hadoop.data.dir}/namesecondary</value>
        </property>

        <!-- 兼容 -->
        <property>
                <name>dfs.client.datanode-restart.timeout</name>
                <value>30s</value>
        </property>
        <!-- nn web 访问地址 -->
        <property>
                <name>dfs.namenode.http-address</name>
                <value>master:9870</value>
        </property>
		<!-- 2nn web 访问地址 -->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>slave1:9868</value>
        </property>
</configuration>

yarn

vi yarn-site.xml

<configuration>
        <!-- 指定shuffle方式 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定ResourceManager地址 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <!-- 环境变继承 -->
        <property>
                <name>yarn.nodemanager.env-whitelist</name>
                <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>
        <!-- 取消虚拟内存限制 -->
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>
</configuration>

vi mapred.site.xml

<configuration>
	<!-- 指定MapReduce运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

Hadoop端口号总结

  1. NameNode内部通信：8020
  2. NameNode web端：9870
  3. 2NN web端：9868
  4. ResourceManager web端：8088
  5. 历史服务器 web端：19888

mysql

安装

yum -y install libaio

在这里插入图片描述

初始化配置

  1. 查看 /etc/my.cnf 中datadir=/var/lib/mysql位置文件，将datadir=/var/lib/mysql存在文件删除rm -rf ./*
    在这里插入图片描述

  2. 初始化

mysqld --initialize --user=mysql
  1. 查看临时生成的root临时密码
cat /var/log/mysqld.log | grep password

在这里插入图片描述

  1. 启动mysql
systemctl start mysqld
systemctl status mysqld  #查看状态

注 若发生 ‘ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2)’ 重启mysql服务

systemctl restart mysqld
  1. 连接mysql
mysql -uroot -p
Enter password: 密码
  1. 修改密码
set password = password('root');

mysql远程连接

  1. 在mysql数据库下

在这里插入图片描述

update user set host='%' where user='root';

在这里插入图片描述
刷新权限

flush privileges;

Hive配置安装

解压配置环境变量

export HIVE_HOME=/opt/hive3.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin


source /etc/profile

在这里插入图片描述
或者改名mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

将hive元数据配置到mysql

  1. 移动mysql驱动到hive/lib
    在这里插入图片描述
  2. 在hive/conf中创建hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
</configuration>

        <property>
                 <name>javax.jdo.option.ConnectionURL</name>
                 <value>jdbc:mysql://master:3306/metastore?useSSL=false</value>
        </property>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>        </property>
        <property>                <name>javax.jdo.option.ConnectionPassword</name>
                <value>root</value>
        </property>
         <property>
                <name>hive.metastore.warehoues.dir</name>
                <value>/user/hive/warehouse</value>
        </property>
         <property>
                <name>hive.metastore.schema.verification</name>
                <value>false</value>
        </property>
         <property>
                <name>hive.metastore.uris</name>
                <value>thrift://master:9083</value>        </property>
        <property>
                <name>hive.server2.thrift.port</name>
                <value>10000</value>
        </property>

        <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>master</value>
        </property>
         <property>
                <name>hive.metastore.event.db.notification.api.auth</name>
                <value>false</value>
        </property>
</configuration>

初始化hive元数据库

  1. 登录mysql
  2. 创建metastore数据库
mysql -uroot-proot
create database metastore;
  1. 初始化
schematool -initSchema -dbType mysql -verbose
  1. 成功

在这里插入图片描述

启动

  1. 启动hadoop集群
start-all.sh
  1. 启动hive
hive --service metastore
打开新窗口
hive --service hiveserver2
打开新窗口
  1. 阻塞后 打开新连接jps
    在这里插入图片描述
Hadoop-完全分布式配置-集群配置
TrueDei
01-30 1037
本文是根据尚硅谷的视频教学，然后加上自己理解总结的。 配置hdfs和yarn如下： 所有的配置文件都在/opt/module/hadoop-2.7.7/etc/hadoop目录下。 [root@hadoop102 hadoop]# [root@hadoop102 hadoop]# pwd /opt/module/hadoop-2.7.7/etc/hadoop [root@hadoop102 h...
Hadoop完全分布式配置
yandao的博客
04-18 6329
1.虚拟机环境准备 1.1 克隆虚拟机 1.2. 修改克隆虚拟机的静态IP 机器名 静态IP master 192.168.121.151 slaver1 192.168.121.152 slaver2 192.168.121.153 [root@master Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 #输入以下内容 DEVICE=eno16777736 TYPE=Ethernet ONB
hadoop配置文件
CHEN的博客笔记
11-19 5231
安装前的工作： jdk 集群中节计算机互联互通 关闭防火墙 节点间的计算机免密码登录（authorized_keys认证文件root用户存放在/root/.ssh/） (User用户 /home/user/.ssh/) A计算机免密码登录B计算机，将A计算机的公钥存放在B计算机的认证文件authorized_keys 产生 安装hadoop Bin目录-命令eg : hadoop namenode -format Sbin目录-各种启动文件\停止服务 Etc/hadoop/ 各种配置文件 1.hadoo
Hadoop分布式配置文件
08-23 229
Hadoop 安装模式分为三种： 单机模式：单机模式下注意将备份数量设置为1，设置为3是没有意义的 伪分布式：没有测试 完全分布式： 完全分布式需要3台-3台以上的服务器，由NameNode进行控制多台DataNode。 网上的详细配置十分齐全，可以进行参考，但是每份参考文件的配置并不完全相同。 配置文件说明： hadoop-env.xml：对文件的运行环境进行...
Hadoop配置文件
最新发布
weixin_72357231的博客
03-11 192
【代码】Hadoop配置文件。
Hadoop3.0集群配置
沛哥儿的专栏
01-23 5389
前言 本文主要是讲述如何在上千节点下的大规模集群的安装和配置。如果你只是想尝hadoop。你可以在单台机器上进行安装。（查看单例安装） 本文不涉及安全或高可用等方面的主题。 先决条件 安装Java。想获java取匹配的hadoop版本详情查看Hadoop Wiki 。从Apache的hadoop镜像上下载稳定的版本。 安装 Hadoop集群典型安装方式包括在所有的集群机
【hadoop】完全分布式集群配置文件
xiangxiang613的专栏
07-21 411
本文代码出自《Hadoop大数据开发基础》第二章，把几个修改量大的文件代码给贴出来，便于给同样使用这本书的人复制，因为纯手敲很累还容易出错。 1.修改core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>h...
Hadoop完全分布式配置.txt
11-05
当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。 b. 伪分布模式 Hadoop守护进程...
搭建hadoop-完全分布式模式
01-07
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名，设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这...
Hadoop完全分布式配置文件
y2377598392的博客
06-28 158
方法二、tar -xzvf hadoop-2.7.1.tar.gz -C /url/local (解压到指定的文件路径)将hadoop-2.7.1.tar.gz上传到Centos7的/usr/local路径。解压：tar -xzvf hadoop-2.7.1.tar.gz（表示解压到当前路径）将配置好了的hadoop文件分发给slave1、slave2。方法一：切换路径：cd /usr/local。配置core-site.xml。
hadoop 配置文件
06-20
配置文件
hadoop3.2.1配置文件亲测有效
10-30
有关hadoop配置的文件皆是txt文件，可以直接粘贴使用，部分主机名称和文件地址需要结合自己本机实际地址进行修改
centos7系统中的hadoop3.2.0的配置文件.rar
09-01
hadoop 3.2.0在（win10+cento7+vmware）环境的配置文件,包括/etc/profile和hadoop安装目录下etc/hadoop文件下的文件：hadoop-env.sh,mapred-env.sh,yarn-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,workers,hadoop安装目录下sbin目录下的文件：start-dfs.sh,stop-dfs.sh,sart-yarn.sh,stop-yarn.sh。在hadoop安装目录下（/usr/hadoop/hadoop-3.2.0）下新建tmp和hdfs文件夹，在hdfs文件夹新建data和name两个文件夹。
Hadoop 配置文件
aa2303632的专栏
07-11 335
Hadoop搭建集群环境是需要的配置文件
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值