deepin 安装 hive

deepin 安装 hive

1. 安装 hadoop
2. 安装 mysql
3. 安装 hive

准备

HDFS配置

vim $HADOOP_HOME/etc/hadoop/core-site.xml 

  <!--配置所有节点的lhz用户都可作为代理用户-->
  <property>
    <name>hadoop.proxyuser.lhz.hosts</name>
    <value>*</value>
  </property>

  <!--配置lhz用户能够代理的用户组为任意组-->
  <property>
    <name>hadoop.proxyuser.lhz.groups</name>
    <value>*</value>
  </property>

  <!--配置lhz用户能够代理的用户为任意用户-->
  <property>
    <name>hadoop.proxyuser.lhz.users</name>
    <value>*</value>
  </property>

启动Hadoop

# 启动hadoop
start-hadoop.sh
# 检查hadoop进程
jps
# 检查各端口
netstat -aplnt | grep java

安装MySQL

建立MySQL用户和用户组

sudo groupadd mysql

sudo useradd -r -g mysql -s /bin/false mysql

下载MySQL安装包

wget https://cdn.mysql.com//Downloads/MySQL-9.1/mysql-9.1.0-linux-glibc2.28-x86_64.tar.xz

解压缩MySQL安装包

sudo tar -xvf mysql-9.1.0-linux-glibc2.28-x86_64.tar.xz

移动安装包到指定目录

sudo mv mysql-9.1.0-linux-glibc2.28-x86_64 /usr/local/mysql

创建链接符号目录

sudo mkdir /usr/local/mysql/mysql-files

修改目录所属

sudo chown -R mysql:mysql /usr/local/mysql

链接符号目录授权

sudo chmod 750 /usr/local/mysql/mysql-files

配置环境变量

临时环境变量

export PATH=$PATH:/usr/local/mysql/bin

永久环境变量

sudo vim /etc/profile

末尾追加以下内容

export PATH=$PATH:/usr/local/mysql/bin

初始化数据库

sudo /usr/local/mysql/bin/mysqld --initialize --user=mysql

注意：MySQL初始密码会打印在控制台上

例如：[Note] [MY-010454] [Server] A temporary password is generated for root@localhost: .mT/UTw%<5&=

启动MySQL

sudo /usr/local/mysql/bin/mysqld_safe --user=mysql &

修改MySQL root用户密码和授权可访问主机

打开新的控制台执行以下命令

sudo /usr/local/mysql/bin/mysql -uroot -p

根据提示输入之前打印在控制台上的MySQL初始密码
注意：第一次输入可能是操作系统用户密码

修改 root 用户密码为 lihaozhe

alter user 'root'@'localhost' IDENTIFIED BY 'lihaozhe';
flush privileges;

授权任意主机皆可访问

update mysql.user set host = '%' where user = 'root';
flush privileges;

退出MySQL

exit;

设置MySQL服务

在新的控制台执行以下命令

sudo cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql.server

控制 MySQL 可以使用 以下命令

sudo systemctl start mysql

sudo systemctl stop mysql

sudo systemctl restart mysql

sudo systemctl reloead mysql

或者

sudo service mysql.server start

sudo service mysql.server stop

sudo service mysql.server restart

sudo service mysql.server reloead

测试

重启操作系统

手动开启MySQL服务

sudo systemctl start mysql 

或者

sudo service mysql.server start

登录MySQL

使用自定义密码登录

mysql -uroot -p

安装hive

# 将软件上传到 /home/lhz/opt 目录
wget https://dlcdn.apache.org/hive/hive-4.0.1/apache-hive-4.0.1-bin.tar.gz
# 解压hive
tar -zxvf apache-hive-4.0.1-bin.tar.gz 
# 目录改名
mv apache-hive-4.0.1-bin hive-4
# 进入配置文件目录
cd /home/lhz/opt/hive-4/conf
# 编辑环境配置文件
vim hive-env.sh
# 编辑配置文件
vim hive-site.xml

hive-env.sh

hadoop 安装路径 export HADOOP_HOME=/home/lhz/opt/hadoop-3/

hive 配置文件路径 export HIVE_CONF_DIR=/home/lhz/opt/hive-4/conf/****

export HADOOP_HOME=/home/lhz/opt/hadoop-3/
export HIVE_CONF_DIR=/home/lhz/opt/hive-4/conf/

hive-site.xml

需要修改的位置提炼如下：

<configuration>
  <!-- 记录HIve中的元数据信息  记录在mysql中 -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://lihaozhe:3306/hive?allowPublicKeyRetrieval=true&amp;useUnicode=true&amp;createDatabaseIfNotExist=true&amp;characterEncoding=UTF8&amp;useSSL=false&amp;useServerPrepStmts=false&amp;rewriteBatchedStatements=true&amp;cachePrepStmts=true&amp;allowMultiQueries=true&amp;serverTimeZone=Asia/Shanghai&amp;