hadoop集群搭建(2)

MariaDB与Hadoop安装配置指南

原创已于 2022-07-06 11:11:49 修改 · 674 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #mysql #mariadb

于 2022-07-06 10:51:08 首次发布

笔记专栏收录该内容

5 篇文章

订阅专栏

博客主要介绍了MariaDB和Hadoop的安装与配置。MariaDB部分涵盖下载、配置、字符集设置及远程连接等内容；Hadoop部分则包含安装步骤，如解压、重命名、移动文件，以及多个配置文件（core-site.xml、hadoop-env.sh等）的配置方法。

数据库和hadoop安装

安装MariaDB
hadoop

安装MariaDB

下载

yum install mariadb-server
# 开启服务
systemctl start mariadb  
# 设置为开机自启动服务
systemctl enable mariadb

配置

#进行数据库的配置
mysql_secure_installationx

Enter current password for root (enter for none):  # 输入数据库超级管理员root的密码(注意不是系统root的密码)，第一次进入还没有设置密码则直接回车

Set root password? [Y/n]  # 设置密码，y

New password:  # 新密码
Re-enter new password:  # 再次输入密码

Remove anonymous users? [Y/n]  # 移除匿名用户， y

Disallow root login remotely? [Y/n]  # 拒绝root远程登录，n，不管y/n，都会拒绝root远程登录

Remove test database and access to it? [Y/n]  # 删除test数据库，y：删除。n：不删除，数据库中会有一个test数据库，一般不需要

Reload privilege tables now? [Y/n]  # 重新加载权限表，y

#输入root密码：123456（数据库的命令同mysql）
Mysql -u root -p

MariaDB字符集

（配置为utf-8）

sudo vi /etc/my.cnf

[mysqld]  
 init_connect='SET collation_connection = utf8_unicode_ci'
 init_connect='SET NAMES utf8'
 character-set-server=utf8
 collation-server=utf8_unicode_ci
 skip-character-set-client-handshake

sudo vi /etc/my.cnf.d/client.cnf

[client]
default-character-set=utf8

sudo vi /etc/my.cnf.d/mysql-clients.cnf

[mysql]  
default-character-set=utf8

#重启服务`
ystemctl restart mariadb 
#查看3306端口
netstat -tunlp | grep :3306
#查看字符集是否更改成功（进入数据库中）
show variables like "%character%";show variables like "%collation%";

远程连接

查看mysql数据库中的user表

  MariaDB [(none)]> use mysql;
  MariaDB [mysql]> select host, user from user;
  +-----------+------+
  | host      | user |
  +-----------+------+
  | 127.0.0.1 | root |
  | ::1       | root |
  | localhost | root |
  +-----------+------+
  3 rows in set (0.00 sec)

将与主机名相等的字段改为 “%”

  update user set host='%' where host='localhost';

刷新权限表，或重启mariadb服务，以下二选一即可

MariaDB [mysql]> flush privileges;
  Query OK, 0 rows affected (0.00 sec)
  MariaDB [mysql]> select host, user from user;
  +-----------+------+
  | host      | user |
  +-----------+------+
  | 127.0.0.1 | root |
  | ::1       | root |
  | %         | root |
  +-----------+------+
  3 rows in set (0.00 sec)

[root@mini ~]# systemctl restart mariadb

远程链接mariadb（navicat）

在这里插入图片描述
C:\Windows\System32\drivers\etc

hadoop

安装

software 中解压hadoop

tar -xvf hadoop-2.8.5.tar.gz

重命名hadoop

mv hadoop-2.8.5 hadoop

把解压后的hadoop移动到 /opt

mv hadoop /opt
cd /opt/hadoop

查看hadoop是否安装成功

  [root@lqn1 hadoop]# bin/hadoop version

在这里插入图片描述

配置

vi /etc/profile

#HADOOP
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:HADOOP_HOME/sbin

source /etc/profile
hadoop version

Hadoop文件

配置 /opt/hadoop/etc/hadoop

在这里插入图片描述

core-site.xml

在节点内加入配置:

<!-- 这个属性用来指定namenode的hdfs协议的文件系统通信地址，可以指定为一个主机+端口， -->
  <!-- 也可以指定为一个namenode服务（这个服务内部可以有多台namenode实现hadoop的namenode服务） -->
  <property> 
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.17.142:9000</value>
  </property>
  <!-- 指定hadoop临时目录，前面用file:表示是本地目录。hadoop在运行过程中会有临时文件或缓冲之类，需要一个临时目录来存放，这里就是指定这个的。当然这个目录需要提前创建好 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
  <!-- 这个属性用来指定文件数据块的大小，此处是128M，Hadoop的数据块默认是64M -->
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>

hadoop-env.sh

在# JAVA_HOME=/usr/java/testing hdfs dfs -ls 语句后面添加如下JDK、hadoop和YARN配置：

# 配置本地jdk安装路径
export JAVA_HOME=/opt/jdk/jdk1.8.0_321
# 配置本地hadoop安装路径
export HADOOP_HOME=/opt/hadoop
# 配置HDFS和YARN运行所使用的用户
# 注意若设置了以下信息，以后将只能使用root用户启动hadoop
# 若上面使用的是cloud这个用户做的SSH免密登录，请将root修改为cloud即可
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

hdfs-site.xml

在节点内加入如下配置：

 <!-- 设置namenode数据的存放路径。也就是namenode元数据存放的地方，记录了hdfs系统中文件的元数据 -->
  <property>
    <name>dfs.name.dir</name>
    <value>/opt/hadoop/dfs/name</value>
    <description>Path on the local filesystem where the Name Node stores the namespace and transactions logs persistently.</description>
  </property>
  <!-- 设置datanode存放的路径。也就是hdfs具体数据块的存储路径 -->
  <property>
    <name>dfs.data.dir</name>
    <value>/opt/hadoop/dfs/data</value>
    <description>Comma separated list of paths on the local file system of a DataNode where it should store its blocks.</description>
  </property>
  <!-- 设置namenode的http通讯地址 -->
  <property>
    <name>dfs.namenode.http-address</name>
    <value>192.168.17.142:50070</value>
  </property>
  <!-- 设置secondarynamenode的http通讯地址 -->
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.17.142:50090</value>
  </property>
  <!-- 设置hdfs副本数量 -->
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property> 
  <!-- 在HDFS中关闭权限检查 -->
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
    <description>need not permissions</description>
  </property>

mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

在节点内加入配置

 <!-- 指定mr框架jobhistory的内部通讯地址。 -->
  <property>
    <name>mapred.job.tracker</name>
    <value>lqn1:49001</value>
  </property>
  <!-- mapred做本地计算所使用的文件夹，可以配置多块硬盘(逗号分隔)。 -->
  <property>
    <name>mapred.local.dir</name>
    <value>/opt/hadoop/var</value>
  </property>
  <!-- 通知框架MR使用YARN -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

slaves

vi slaves

#删除原本的localhost
lqn1
lqn2
lqn3

yarn-site.xml

在节点内加入如下配置：

 <!-- 指定Yarn的老大(ResourceManager)的地址 -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>lqn1</value>
  </property>
  <!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>