Linux环境MySQL、Hive、Sqoop安装

Ranjyaa

已于 2024-07-22 23:32:31 修改

阅读量891

点赞数 15

文章标签： hive linux mysql sqoop

于 2024-07-22 23:32:12 首次发布

本文链接：https://blog.youkuaiyun.com/qq_30234483/article/details/140622029

版权

Linux环境MySQL、Hive、Sqoop安装（不全）

环境

CentOS7 2009
MySQL 5.7.28
Hive 3.1.2
Sqoop 1.4.6

说在前面

本文档为本人笔记备份，有很多缺失、错误，如有疏漏请指出，见谅

Mysql安装

1. 检查环境

rpm -qa | grep mariadb

| 管道符左边的输入是右边的输出

如果上述命令返回有结果，那么进行mariadb的卸载

rpm -e --nodeps mariadb-libs

2. 解压安装包

tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar

3. 进行rpm安装

安装commin包

rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm

安装libs包

rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm --nodeps --force

安装libs-compat包

rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm

安装client包

rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm

安装server包

rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm --nodeps --force

删除当前目录下的所有文件、目录
rm -rf ./*

4. 初始化mysql

mysqld --initialize --user=mysql

查看临时密码
```
cat /var/log/mysqld.log
eNIO1;JPf:5K
```

5. 启动mysql

systemctl start mysqld

查询mysql状态
```
systemctl status mysqld
```
关闭mysql
```
systemctl stop mysqld
```

6. 使用root用户登录mysql

mysql -uroot -p
eNIO1;JPf:5K

7. 修改root用户密码为123456

set password=password("123456");

8. 修改root用户访问的IP限制

查询root用户的ip限制

select host from mysql.user where user='root'

修改host权限

update mysql.user set host='%' where user='root';

刷新权限
```
flush privileages;
```

HIVE安装

1. 解压移动安装包

mv ./apache-hive-3.1.2-bin/* /opt/softs/hive3.1.2/

2. 配置环境变量

vim /etc/profile

#HIVE_HOME
export HIVE_HOME=/opt/softs/hive3.1.2/
export PATH=$PATH:$HIVE_HOME/bin

3. 处理添加jar包依赖

mysql连接包，添加到/opt/softs/hive3.1.2/lib下

修改log4j日志依赖

mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

修改guava版本

cd $HADOOP_HOME/share/hadoop/common/lib
cp guava-27.0-jre.jar /opt/softs/hive3.1.2/lib/
# 修改旧版本为bak
mv guava-19.0.jar guava-19.0.jar.bak

4. 配置文件

hive-site.xml

<configuration>
    <property>
        <!-- jdbc 连接的 URL hostname根据实际进行修改 -->
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://bigdata01:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    </property>

    <!-- jdbc 连接的 Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <!-- jdbc 连接的 username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc 连接的 password  root密码根据实际修改-->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

    <!-- Hive 默认在 HDFS 的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>

    <!-- 指定 hiveserver2 连接的 host hive的安装host根据实际进行修改 -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>bigdata01</value>
    </property>

    <!-- 指定 hiveserver2 连接的端口号 -->
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>


    <!-- yarn作业获取到的hiveserver2用户都为hive用户 -->
    <property>
        <name>hive.server2.enable.doAs</name>
        <value>false</value>
    </property>

    <!-- hiveserver2的高可用参数，开启此参数可以提高hiveserver2的启动速度 -->
    <property>
        <name>hive.server2.active.passive.ha.enable</name>
        <value>true</value>
    </property>
</configuration>

修改hadoop的core-site.x

<!-- 安装hive时 在hadoop中core-site.xml中添加如下配置 -->
<!-- 从任何主机登录的root用户可以伪装成一个属于任何group的用户 -->
<property>
	<name>hadoop.proxyuser.root.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.root.groups</name>
	<value>*</value>
</property>
`
传输到另外两台

```shell
scp core-site.xml root@bigdata02:/opt/softs/hadoop3.1.3/etc/hadoop/