hive安装

1,hadoop安装

参考:https://blog.youkuaiyun.com/pucao_cug/article/details/71773665
本博主的所有大数据相关都不是原创,都是参考别人的,再这里只是做一笔记;

2,mysql安装

hive需要mysql,自己安装;mysql安装可以参考:
https://blog.youkuaiyun.com/qq_43338182/article/details/85163712

3,hive安装

转自:https://blog.youkuaiyun.com/pucao_cug/article/details/71773665

1.首先就是下载hive;

我的是:apache-hive-2.3.4-bin
在这里下载: http://mirror.bit.edu.cn/apache/hive/
stable :稳定的

2.解压配置环境变量

vim /etc/profile
加上

export  HIVE_HOME=/opt/hive/apache-hive-2.3.4-bin
export  HIVE_CONF_DIR=${HIVE_HOME}/conf
export  CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH
export  PATH=:${HIVE_HOME}/bin:$PATH

3,进入hive目录,更改hive环境配置文件

cd /opt/hive/apache-hive-2.3.4-bin/conf

cp hive-env.sh.template hive-env.sh

hive自己的环境变量

vim hive-env.sh
在后面添加
在这里插入图片描述

4.更改hive-site.xml

vim hive-site.xml
在这里插入图片描述

把文件中所有的  ${system:java.io.tmpdir} 都改成  /opt/hive/tmp
把文件中所有的  ${system:user.name} 都改成  /root

hive-site.xml 文件中有这样的配置:
在这里插入图片描述
在这里插入图片描述
所以你需要在hadoop中创建这两个文件夹

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /tmp/hive/

赋予最高权限

hdfs dfs -chmod 777 /user/hive/warehouse
hdfs dfs -chmod 777 /tmp/hive/

可以使用:hdfs dfs -ls / 来查看是否有文件夹存在;

修改这个:写你自己的mysql url
在这里插入图片描述
在这里需要注意:url后面如果还想写(characterEncoding=UTF-8)应该

&useUnicode=true &characterEncoding=UTF-8
由于编辑器问题,他会自动转译;所以我这里的 “分号” 是中文,用的时候换成英文 “分号”

怕有和我一样的无知少年出错,再截个图
在这里插入图片描述

在xml中 & 需要使用 & 来代替

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

5.在lib目录下加入mysql驱动jar包
在这里插入图片描述

4.启动,测试

1,对数据库进行初始化

cd /opt/hive/apache-hive-2.3.4-bin/bin
schematool -initSchema -dbType mysql

出现schematool completed;那就成功了;
在windows连接看看:
在这里插入图片描述
2,启动

./hive

在这里插入图片描述

这样就成功了;

show functions;
在这里插入图片描述

查看sum函数的详细信息的命令:

desc function sum;
在这里插入图片描述

3.建表,导入数据

create database  db_hive_edu;
use  db_hive_edu;

# 创建表,tab 键 来区分字段
create  table  student(id int,name string)  row  format  delimited  fields   terminated  by  '\t';

# 新建文件写入内容:
touch    /opt/hive/student.txt
001 zhangsan
002 lisi
003 wangwu
004 zhaoliu
005 chenqi

中间是 Tab 键,自己改一下


load   data  local   inpath   '/opt/hive/student.txt'   into   table   db_hive_edu.student;

select * from student;   或    select * from db_hive_edu.student;

在这里插入图片描述
查看hadoop中是否有这个
在这里插入图片描述

最后,看看数据库:

select * from hive.tbls;

在这里插入图片描述

资源下载链接为: https://pan.quark.cn/s/22ca96b7bd39 在 IT 领域,文档格式转换是常见需求,尤其在处理多种文件类型时。本文将聚焦于利用 Java 技术栈,尤其是 Apache POI 和 iTextPDF 库,实现 doc、xls(涵盖 Excel 2003 及 Excel 2007+)以及 txt、图片等格式文件向 PDF 的转换,并实现在线浏览功能。 先从 Apache POI 说起,它是一个强大的 Java 库,专注于处理 Microsoft Office 格式文件,比如 doc 和 xls。Apache POI 提供了 HSSF 和 XSSF 两个 API,其中 HSSF 用于读写老版本的 BIFF8 格式(Excel 97-2003),XSSF 则针对新的 XML 格式(Excel 2007+)。这两个 API 均具备读取和写入工作表、单元格、公式、样式等功能。读取 Excel 文件时,可通过创建 HSSFWorkbook 或 XSSFWorkbook 对象来打开相应格式的文件,进而遍历工作簿中的每个 Sheet,获取行和列数据。写入 Excel 文件时,创建新的 Workbook 对象,添加 Sheet、Row 和 Cell,即可构建新 Excel 文件。 再看 iTextPDF,它是一个用于生成和修改 PDF 文档的 Java 库,拥有丰富的 API。创建 PDF 文档时,借助 Document 对象,可定义页面尺寸、边距等属性来定制 PDF 外观。添加内容方面,可使用 Paragraph、List、Table 等元素将文本、列表和表格加入 PDF,图片可通过 Image 类加载插入。iTextPDF 支持多种字体和样式,可设置文本颜色、大小、样式等。此外,iTextPDF 的 TextRenderer 类能将 HTML、
### Hive 安装教程概述 Hive 是一种建立在 Hadoop 上的数据仓库工具,支持结构化数据的查询和分析。以下是基于多种资料整理而成的一份完整的 Hive 安装指南。 --- #### 1. 准备工作 在安装 Hive 之前,需要完成以下准备工作: - **Java 环境配置** Hive 需要 Java 环境的支持。可以通过以下命令安装 JDK 并设置环境变量[^2]: ```bash mkdir -p /opt/module tar -zxvf /tmp/jdk-8u391-linux-x64.tar.gz -C /opt/module/ echo "export JAVA_HOME=/opt/module/jdk1.8.0_391" >> /etc/profile echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile source /etc/profile ``` - **Hadoop 环境准备** Hive 查询依赖于 Hadoop 提供的分布式计算能力。因此,在安装 Hive 前需先部署好 Hadoop 集群或单机版环境[^3]。 - **MySQL 数据库配置(可选)** 如果希望将 Hive 的元数据存储到 MySQL 中,则需要提前安装并初始化 MySQL 数据库[^4]。可以参考以下命令进行最小化安装: ```bash sudo apt-get update sudo apt-get install mysql-server service mysql start ``` --- #### 2. Hive 下载与解压 下载最新版本的 Hive 并将其解压至目标目录。例如,对于 Hive 3.1.3 版本,操作如下[^4]: ```bash cd /usr/local sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz sudo tar -zxvf apache-hive-3.1.3-bin.tar.gz sudo mv apache-hive-3.1.3-bin hive ``` --- #### 3. 环境变量配置 为了方便调用 Hive 工具,建议修改系统的环境变量文件 `~/.bashrc` 或 `/etc/profile`,添加以下内容: ```bash export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin source ~/.bashrc ``` --- #### 4. 配置 Hive 参数 进入 Hive 的配置目录 (`$HIVE_HOME/conf`),并将默认模板文件复制为实际使用的配置文件[^5]: ```bash cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml ``` 随后,编辑 `hive-site.xml` 文件以指定必要的参数。例如,定义本地临时目录的位置: ```xml <property> <name>hive.exec.local.scratchdir</name> <value>/path/to/hive/local/scratchdir</value> <description>Local scratch space for Hive jobs</description> </property> ``` 如果使用 MySQL 存储元数据,还需额外配置 JDBC 连接信息。具体示例如下: ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property> ``` --- #### 5. 启动 Hive 和验证 完成以上步骤后,即可启动 Hive 并验证其功能。首先确保 Hadoop 集群已正常运行[^3]: ```bash cd /usr/local/hadoop ./sbin/start-dfs.sh ``` 接着尝试启动 Hive CLI 或 Beeline 接口: ```bash cd /usr/local/hive ./bin/hive ``` 或者通过 Beeline 方式连接: ```bash ./bin/beeline -u jdbc:hive2://localhost:10000 ``` --- #### 6. 常见问题排查 在安装过程中可能会遇到一些常见的错误提示。例如,JDBC 驱动缺失时需要手动下载对应的驱动包,并放置到 `$HIVE_HOME/lib` 目录下。 --- ### 结论 按照上述流程,能够顺利完成 Hive安装与基本配置过程。需要注意的是,生产环境中通常还需要进一步优化性能参数以及增强安全性措施。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值