
Hive
文章平均质量分 80
u013063153
这个作者很懒,什么都没留下…
展开
-
Spark SQL和Hive使用场景?
作者:狗叔链接:https://www.zhihu.com/question/36053025/answer/121404733来源:知乎著作权归作者所有,转载请联系作者获得授权。Hive是什么?一个建立在分布式存储系统(这里指HDFS)上的SQL引擎。为什么要有Hive呢?因为有了Hadoop后,大家发现存储和计算都有了,但是用起来很困难。去厂商那里一看,清一色Ora转载 2016-12-12 15:50:40 · 9557 阅读 · 0 评论 -
Hive安装—本地derby模式
1. 解压缩tar -zxvf apach-hive-1.2.1-bin.tar.gz2. 进入解压的hive目录cd apache-hive-1.2.1-bin3.编译配置文件cd confcp hive-default.xml.template hive-site.xmlvim hive-site.xml原配置信息全部删掉,加入如下配置:原创 2017-07-01 12:32:42 · 1701 阅读 · 0 评论 -
Hive的数据类型、DDL和DML
DDL:具体参见https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL重点是hive 的建表语句和分区。DML:具体参见https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML重点是数据加载和查询插入语法原创 2017-07-01 13:43:59 · 631 阅读 · 0 评论 -
Hive中数据的加载和导出
关于 Hive DML 语法,你可以参考 apache 官方文档的说明:Hive Data Manipulation Language。apache的hive版本现在应该是 0.13.0,而我使用的 hadoop 版本是 CDH5.0.1,其对应的 hive 版本是 0.12.0。故只能参考apache官方文档来看 cdh5.0.1 实现了哪些特性。因为 hive 版本会持续升级,故本转载 2017-07-01 13:59:32 · 979 阅读 · 0 评论 -
Hive安装—本地MySQL模式
MySQL的方式,需要将MySQL的jar包拷贝到$HIVE_HOME/bin目录下。一、MySQL的安装rpm -qa|grep mysql 查看是否安装了mysql.rpm -e mysql-server-5.1.73-5.el6_6.x86_64 卸载mysqlrpm -e mysql-5.1.73-5.el6_6.x86_64rpm -e mysql-libs-5.1.原创 2017-07-01 13:23:20 · 777 阅读 · 0 评论 -
Hive安装—远端MySQL模式
1.remote一体这种存储方式需要在远端服务器运行一个mysql服务器,并且需要在Hive服务器启动meta服务。这里用mysql的测试服务器,ip位192.168.1.214,新建hive_remote数据库,字符集位latine1 hive.metastore.warehouse.dir /user/hive/ware原创 2017-07-01 13:29:00 · 458 阅读 · 0 评论 -
Hive总结
1、Hive概念Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。数据仓库数据仓库(Data Warehouse, D原创 2017-07-18 16:43:18 · 995 阅读 · 0 评论 -
Hive操作语句的使用实例讲解
原文:http://www.cnblogs.com/viviman/archive/2013/02/06/2907631.html #创建表人信息表 person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY转载 2017-05-07 15:50:55 · 436 阅读 · 0 评论 -
Hive介绍及部署最详细文档
原文:http://www.aboutyun.com/thread-14958-1-1.html问题导读1、Hive的概念以及优缺点。2、Hive的执行流程。3、了解Hive的运行框架,以及Hive架构包括哪些组件?4、Hive的搭建过程。5、如何设置安装Mysql、设置root密码、Hive用户和创建Hive数据库?6、安装Hive过程中如何设置相关的环境变量?7转载 2017-05-07 15:41:05 · 1358 阅读 · 0 评论 -
Spark-1.3.1与Hive整合实现查询分析
原文链接:http://shiyanjun.cn/archives/1113.html在大数据应用场景下,使用过Hive做查询统计分析的应该知道,计算的延迟性非常大,可能一个非常复杂的统计分析需求,需要运行1个小时以上,但是比之于使用MySQL之类关系数据库做分析,执行速度快很多很多。使用HiveQL写类似SQL的查询分析语句,最终经过Hive查询解析器,翻译成Hadoop平台上的Ma转载 2016-12-12 15:19:20 · 2482 阅读 · 0 评论 -
Hive(上)-介绍及部署
1、Hive介绍1.1 Hive介绍Hive是一个基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据。它是Facebook 2008年8月开源的一个数据仓库框架,提供了类似于SQL语法的HQL语句作为数据访问接口,Hive有如下优缺点:l 优点:1.Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容,大大降低了传统数据分析人员学习的曲线;2.转载 2017-01-10 13:54:53 · 2807 阅读 · 0 评论 -
Hive(下)-Hive实战
1、Hive操作演示1.1 内部表1.1.1 创建表并加载数据第一步 启动HDFS、YARN和Hive,启动完毕后创建Hive数据库hive>create database hive;hive>show databases;hive>use hive;第二步 创建内部表由于Hive使用了类似SQL的语法,所以创建内部表的语句相对SQL只增加了行和字段分隔转载 2017-01-10 13:56:17 · 10534 阅读 · 0 评论 -
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
Pig一种操作hadoop的轻量级脚本语言,最初又雅虎公司推出,不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用,不过我认为与其使用pig不如使用hive。:)Pig是一种数据流语言,用来快速轻松的处理巨大的数据。Pig包含两个部分:Pig Interface,Pig Latin。Pig可以非常方便的处理转载 2017-01-10 14:29:05 · 496 阅读 · 0 评论 -
Hive环境搭建和实例
Hive是由Facebook最初开发的基于Hadoop的数据仓库工具,提供了类SQL的查询语言Hive SQL(HQL)。在内部,Hive将用户的SQL语句转化为一系列的MapReduce作业,并提交到集群中运行。在Hive中,数据通过表来组织,提供了一种将表结构附加(attaching)到HDFS中的数据的一种方式。诸如表的Schema等元数据存放在一个称为metastore的数转载 2017-03-06 18:15:48 · 710 阅读 · 0 评论 -
使用Hive读写ElasticSearch中的数据
原文链接:http://lxw1234.com/archives/2015/12/585.htm关键字:hive、elasticsearch、integration、整合ElasticSearch已经可以与YARN、Hadoop、Hive、Pig、Spark、Flume等大数据技术框架整合起来使用,尤其是在添加数据的时候,可以使用分布式任务来添加索引数据,尤其是在数据平台上,很转载 2017-03-07 11:32:03 · 13915 阅读 · 4 评论 -
Hive Shell常用操作
1.Hive非交互模式常用命令: 1) hive -e:从命令行执行指定的HQL,不需要分号:% hive -e 'select * from dummy' > a.txt 2) hive –f: 执行HQL脚本% hive -f /home/my/hive-script.sql --hive-script.sql是hql脚本文件 3) hi转载 2017-03-07 16:16:31 · 666 阅读 · 0 评论 -
Hive vs. HBase
Comparing Hive with HBase is like comparing Google with Facebook - although they compete over the same turf (our private information), they don’t provide the same functionality. But things can get con转载 2017-03-15 18:00:32 · 413 阅读 · 0 评论 -
Hive概述
Hive本质是什么?1.Hive是分布式数据仓库,同时又是查询引擎,所有Spark SQL取代只是Hive查询引擎,在企业中Hive + Spark SQL是目前最为经典的数据分析组合。2.Hive本身是一个单机版本软件,主要负责: a) 把HQL翻译成Mapper(s)-Reducer-Mapper(s)代码,并且可能产生很多MapReduces的Job b) 把生产的M原创 2017-01-16 16:20:23 · 851 阅读 · 0 评论