HIVE安装及简单测试

最新推荐文章于 2024-07-01 23:48:28 发布
原创 最新推荐文章于 2024-07-01 23:48:28 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

一、  HIVE环境变量配置

如下图：

二、  生成hive-env.sh 和 hive-site.xml

定位到 /hive-0.11.0/conf目录下，将hive-env.sh.template 和hive-default.xml.template 分别拷贝为 hive-env.sh 和 hive-site.xml,如下图：


三HIVE环境变量配置

hive-env.sh中添加

exportHADOOP_HOME=/home/lihui/hadoop/hadoop-1.2.1

exportHIVE_CONF_DIR=/home/lihui/hadoop/hadoopex/hive-0.11.0/conf

如下图：

 

四启动hive

如下图启动结果：

 

五 简单创建，删除表 测试：

如下图：


hive测试技巧
进一步有进一步的欢喜~
03-12 331
1.仅采用分区进行测试，加快测试速度，单个分区测试通过，再放开全量 select a.value1, a.value2 from a where dt=$dt hour=$hout >> hour=$hour将分区限制到最小 2.多表join时，当关心其中两个表join结果时，可以把其他表删掉，数据插入空数据替代 >> 本条过于简单 >> 但却十分实用 3.大表采样后落一个新的小表，用小表测试 select * from ( select t.* from
Hive的安装、配置、测试（Hive入门）
TTDZS的博客
12-09 596
hive入门
Hive练习
cjwfinal的博客
09-05 362
一、创建表 1.创建students表 创建表 create table students( id bigint comment '学生id', name string comment '学生姓名', age int comment '学生年龄', gender string comment '学生性别', clazz string comment '学生班级' ) comment '学生信息表' row format delimited fields termina
Hive入门学习及测试
ah7975的博客
07-03 141
1. 首先建立测试数据：/home/nslab/HiveTestData/sample.txt，内容如下： 1990 23 21990 21 21990 25 21991 32 21991 34 21991 24 21992 42 21992 32 21...
hive 测试是否安装成功
qq_43192537的博客
09-21 5474
hive的基本操作 1. 必须启动hdfs和yarn [hadoop@hadoop202 hadoop-2.7.2]$ sbin/start-dfs.sh [hadoop@hadoop202 hadoop-2.7.2]$ sbin/start-yarn.sh 2.在HDFS上创建/tmp和/user/hive/warehouse两个目录 [hadoop@hadoop202 hadoop-2...
基于MySQL元数据的Hive的安装和简单测试
冰雪的专栏
03-16 365
引言：　Hive是一种强大的数据仓库查询语言，类似SQL，本文将介绍如何搭建Hive的开发测试环境。 1. 什么是Hive?    hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专
创建可视化网页四 : 虚拟机中Hive的安装与配置 , 并测试其是否安装成功
m0_67466364的博客
05-27 1386
/启动mapreduce。
CentOS7下配置好Hive后检测是否安装成功
学而不思则忘
09-20 2757
一、启动hive前要先启动hadoop：./sbin/start-all.sh 二、进入hive后，执行查看函数命令：hive functions; 三、查看函数的详细信息：desc function sum; （二、三是简单检测，下面是用例子来检测） 四、新建数据库：create database learn; 五、使用当前数据库：use learn; 六、创建一个数据表：create ...
在线测试
sinat_26566137的博客
07-18 1012
在线测试： 启动：/home/sc/PycharmProjects/risk-model/test/test_risk_model_svc.py copy网址：http://0.0.0.0:19096/risk/model/riskPrediction?companyName=%E5%BE%B7%E6%83%A0%E5%B8%82%E5%B7%A5%E5%95%86%E5%B1%80%E5%8A%...
hive安装后测试
u013494310的专栏
07-21 1336
创建表：  hive> CREATE TABLE pokes (foo INT,bar STRING);  hive> CREATE TABLE invites (foo INT,bar STRING) PARTITIONED BY (ds STRING); 查看表： SHOW TABLES; 查看列： DESCRIBE invites; 修改表： hive> ALTER TABL
hivesql语句练习
12-06
1.上传tar包 2.解压 tar -zxvf hive-1.2.1.tar.gz 3.安装mysql数据库 推荐yum 在线安装 4.配置hive （a）配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home （b）配置元数据库信息 vi hive-site.xml 添加如下内容： javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword hadoop password to use against metastore database 5.安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %：任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES; 6. Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 启动hive bin/hive ---------------------------------------------------------------------------------------------------- Hive几种使用方式： 1.Hive交互shell bin/hive 2.Hive JDBC服务(参考java jdbc连接mysql) 3.hive启动为一个服务器，来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err & 启动成功后，可以在别的节点上用beeline去连接 bin/beeline -u jdbc:hive2://mini1:10000 -n root 或者 bin/beeline ! connect jdbc:hive2://mini1:10000 4.Hive命令 hive -e ‘sql’ bin/hive -e 'select * from t_test'
Hive面试题SQL测试题目1数据
08-31
文章Hive面试题SQL测试题目所需数据，包含建表语句 测试数据等等...................
hive-测试
ty-boy的博客
12-31 740
hive-测试 hive ##------命令行直接输入，如果没有这个命令，看环境变量是否添加，或者profile是否生效。 hive> show functions; OK ! != $sum0 % & * + - / < <= <=> <> = == > >= ^ abs acos add_months aes_decrypt...
hive练习
Joker_Jiang3的博客
07-22 1631
Hive练习 部门信息表 create table if not exists dept( deptno int, dname string, loc int ) row format delimited fields terminated by ','; 员工信息表 create table if not exists emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double,
Hive部署及简单测试
虎鲸不是鱼
05-02 4566
本篇讲述Hive的部署及简单测试
hive 线上调试策略
小爷我不嘚瑟
08-13 818
注：本文和hive配置没有关系 现实问题： 1.线下的没有安装hive 2.要测试的数据只有线上的hive库里有 3.从线上的hive库到线下的hive库导出比较麻烦 4.代码执行hive查询的时间较长 因为时间较长，每次修改程序重跑的时候都会耽误我们大量的时间，因此解决办法是： 1.在第一次执行程序的时候，将hive的查询结果打印出来 2.将结果赋给hive查询的结果
hive测试题
灰哀之雪的博客
09-12 1007
第一题： 以下数据的每一列分别表示： sid name gender age academy dt chinese math english 95001 李勇 男 20 CS 2017-08-31 56 28 62 95002 刘晨 女 19 IS 2017-08-31 84 22 38 95003 王敏 女 22 MA 2017-08-31 38 80 82 95004 张立 男 19 IS 2017-08-31 39 65 4 95005 刘刚 男 18 MA 2018-08-31 18
【分布式数据仓库Hive】Hive的安装配置及测试
布丁椰奶冻的博客
07-01 1221
一、数据库MySQL安装 1. 检查操作系统是否有MySQL安装残留 2. 删除残留的MySQL安装（使用yum） 3. 安装MySQL依赖包、客户端和服务器 4. MySQL登录账户root设置密码，密码值自定义，这里是‘abc1234’ 5. 启动MySQL服务 6. 登录MySQL，进入数据库操作提示符 7. 授权Hive远程登录账户，“账户”和“密码”自定义 8. 创建Hive元数据数据库hive_1（可自命名，符合命名规则即可） 二、Hive安装配置（使用hadoop用户）
Hive 安装与测试
Hipparchus的博客
11-30 1566
内容： 1.      安装Hive 2.      测试Hive运行情况 一、Hive 安装          首先，Hive是以来与HDFS之上的应用，所以必须先要安装Hadoop集群;这里我选择MySQL作为，所以再安装Hive前需要安装Mysql，关于MySQL和Hadoop的安装、配置这里不做详细的说明了。          这里我已经装好了Hadoop和Mysql，直
hive安装及环境配置
最新发布
03-23
### Hive 安装教程及环境变量配置指南 #### 一、Hive 的安装步骤 为了成功安装 Hive，需按照以下流程操作： 1. **准备 MySQL 数据库作为元存储** 在实际应用中，通常会使用外部数据库（如 MySQL）来保存 Hive 的元数据。以下是具体的操作过程： - 启动 MySQL 服务并进入 MySQL 命令行工具：`service mysql start && mysql -u root -p`[^4]。 - 创建一个新的数据库用于存储 Hive 的元数据：`create database hive;`。 - 授权给特定用户访问此数据库：`grant all on *.* to hive@localhost identified by 'hive'; flush privileges; exit;`。 2. **下载并解压 Hive 软件包** 下载 Apache Hive 并将其解压缩到指定路径下，例如 `/export/servers/` 文件夹中。假设版本为 `apache-hive-3.1.3-bin.tar.gz`，可以执行如下命令进行解压： ```bash tar zxvf apache-hive-3.1.3-bin.tar.gz -C /export/servers/ ``` 3. **初始化 Hive 元数据表结构** 进入 Hive 解压后的根目录，并运行 SchemaTool 工具以升级元数据表结构至最新状态： ```bash cd /export/servers/apache-hive-3.1.3-bin ./bin/schematool -initSchema -dbType mysql ``` --- #### 二、Hive 环境变量配置方法 为了让系统能够识别 Hive 及其相关组件的位置，需要设置必要的环境变量。以下是具体的配置方式： 1. 编辑全局环境变量文件 `/etc/profile` 或用户的 `.bashrc` 文件，添加以下内容： ```bash export HIVE_HOME=/export/servers/apache-hive-3.1.3-bin export HIVE_CONF_DIR=$HIVE_HOME/conf export PATH=$PATH:$HIVE_HOME/bin ```[^2] 2. 让更改生效： 执行以下命令使新配置立即可用： ```bash source /etc/profile ``` 3. 如果发现 `conf` 目录下缺少默认的 `hive-site.xml` 文件，则可以通过手动创建的方式解决： 输入以下指令新建并编辑该文件：`vi $HIVE_HOME/conf/hive-site.xml`[^3]。随后根据需求填写相应的配置项，比如连接 MySQL 的 JDBC URL 和认证信息等。 --- #### 三、验证安装是否成功 完成上述所有步骤之后，可通过尝试启动 Hive CLI 来检验整个部署情况： ```bash hive ``` 如果没有任何错误提示且进入了交互式的 SQL 提示符界面，则说明安装顺利完成。 --- ### 示例代码片段 下面展示一段简单的 Python 脚本用来测试与 Hive 表的数据读取功能： ```python from pyhive import hive conn = hive.Connection(host='localhost', port=10000, username='root') cursor = conn.cursor() cursor.execute('SELECT * FROM test_table LIMIT 10') for result in cursor.fetchall(): print(result) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值