u012957549的博客

文章地址：http://www.haha174.top/article/details/253250 一.下载 http://www.apache.org/dyn/closer.cgi/hive/ 可以去官网下载适合的版本 二.安装mysql 可以参考 http://www.haha174.top/article/details/257849 三.mysql connector y

hive 默认自带了很多函数，以方便我们的日常使用 我们可以使用show functions; 命令进行查看目前可以使用的function; 可以使用如下的命令 查看某一个函数的使用方法 hive (default)> desc function extended split; OK tab_name split(str, regex) - Splits str around occuran...

1. order by order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序） 只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 set hive.mapred.mode=nonstrict; (default value / 默认值) set hive.mapred.mode=strict; order by 和数据库中的O...

两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/Value系统，它运行在...

1.数据文件存储格式 下面简介一下hive 支持的存储格式 file_format: : SEQUENCEFILE | TEXTFILE -- (Default, depending on hive.default.fileformat configuration) | RCFILE -- (Note: Available in Hive 0.6.0 and ...

1.安装snappy数据压缩格式 （1）安装snappy：下载snappy安装包，并解压安装。 （2）编译haodop 2.x源码： mvn package -Pdist,native -DskipTests -Dtar -Drequire.snappy /apps/soft/hadoop-2.7.5-src/target/hadoop-2.7.5/lib/native (3) 检查 结果 b...

hive 也是支持jdbc 连接的这样操作起来就会方便很多 毕竟可以在客户端直接些sql 不多说 首先 需要启动hive server 的server2 服务 bin/hive --service hiveserver2 & 下面就是编写客户端了 提供pom 依赖 <hive.version>2.2.0</hive.version> <depen...

上一篇中介绍到了一些hive 中一些默认的function 但是在日常的开发需求中这个肯定是满足不了我们的，下面介绍一下hive 的自定义function 废话不多少了先写个简单的例子压压惊 首先给出工程依赖 <dependencies> <dependency> <groupId>org.apache.hadoop&l...

在做sql 操作的时候多表join 在所难免，下面主要介绍一下hive 中做join LEFT JOIN，RIGHT JOIN， FULL OUTER JOIN ,inner join, left semi join 准备数据 1,a 2,b 3,c 4,d 7,y 8,u 2,bb 3,cc 7,yy 9,pp 建表： create table a(id int,name string...

本篇文章主要介绍一下hive的常用sql 操作 添加分区 一次添加一个分区 ALTER TABLE table_name ADD PARTITION (partCol = 'value1') location 'loc1'; //示例 ALTER TABLE table_name ADD IF NOT EXISTS PARTITION (dt='20130101') LOCAT...

官网地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 通常我们所使用的创建hive表有三种方式 1.create table 首先我们找到官网对创建表的描述如下： ’[]’ 表示可选，’|’ 表示几选一 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] ...

下面介绍一下hive 导出的几种方式 本地文件直接导出 insert overwrite local directory '/data/hive/export/student_info' select * from default.student 修改分隔符和换行符 insert overwrite local directory '/data/hive/export/student_...

下面介绍几种常用的导入数据到hive的方式 加载本地文件到hive load data local inpath '/data/hive/student_info.txt' into table default.student_info 加载hdfs文件到hive中 load data inpath '/data/hive/student_info.txt' into...

文章地址：http://www.haha174.top/article/details/258176 有两张表 一个student_info 保存的是 学生的姓名 年龄 另一个是 student_scores 保存的是 学生的年龄和分数。现在将大于80分的学生的姓名，分数，年龄写入到一张表。 需要安装一个hive 可以参考：http://www.haha174.top/article...

文章地址：http://www.haha174.top/article/details/256688 1 简述 Spark Sql 支持对Hive 中存储的数据进行读写。操作Hive中的数据时，可以创建HiveContext,而不是SqlContext.HiveContext 继承自SqlContext,但是增加了在Hive元数据库中查找表，以及用HiveQl 语法编写sql功能，除了s...

知识背景（1） hive 是目前大数据领域，事实上的sql 标准。其底层默认是基于MapReduce实现的，但是由于MapReduce速度不够快。因此近几年，陆续出来了新的Sql 查询引擎。包括Spark Sql ，hive on tez ,hive on spark. Spark Sql 和hive on spark 是不一样的。spark sql 是Spark 自...

如果有一些数据存储在hbase 当中 我们想通过sql 分析其中的数据 那么 与hive 集成就是一个不错的方法，本质上来说就是hive 充当了h’ba’se的客户端。 1. 首先我们需要将hbase 的客户端jar 拷入hive lib 目录下 [root@hadoop lib]# cp /apps/soft/hbase-2.1.1/lib/hbase-common-2.1.1.jar /ap...