Hive
关注
分享
扫一扫
文章平均质量分 90
Fenggms
好好学习，天天向上。
展开
-
Hive基本概念及数据存储
Hive基本概念）1、hive简单介绍Hive是什么？Hive的优点：Hive的特点：2、Hive架构架构图基本组成3、Hive与Hadoop的关系4、Hive与传统数据库对比5、Hive的数据存储table和external table的区别1、hive简单介绍Hive是什么？Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。...原创 2018-09-21 21:38:37 · 970 阅读 · 0 评论 -
Hive启动时报错：cannot access ....spark/lib/spark-assembly-*.jar: No such file or directoryog解决
在安装spark后，通过bin/hive 启动hive时报错:ls:cannot access /export/servers/spark/lib/spark-assembly-*.jar: No such file or directoryog原因分析：spark2的jar包结构改变，安装的hive中，hive启动脚本内容与之不匹配。解决方案：进入hive目录中，vim bin/hi...原创 2018-10-08 18:34:48 · 2425 阅读 · 0 评论 -
Hive的压缩和存储
压缩和存储数据压缩开启Map输出阶段压缩开启Reduce输出阶段压缩数据存储格式创建一个SNAPPY压缩的ORC存储方式的表数据压缩hive和hadoop一样，也可以使用压缩来节省我们的MR处理的网络带宽。其中压缩格式和性能，也和hadoop类似。https://blog.youkuaiyun.com/Fenggms/article/details/82791405开启Map输出阶段压缩开启map...原创 2018-09-28 20:20:46 · 247 阅读 · 0 评论 -
hbase和hive整合实战
hbase表映射到hive表中① 在hbase中创建表：表名hbase_test, 有三个列族 f1、f2、f3原创 2018-10-13 23:58:11 · 609 阅读 · 0 评论 -
Hive 整合Hbase环境配置
Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。1、应用场景ETL操作的数据存入HBaseHBase作为Hive的数据源构建低延时的数据仓库2、环境准备hive与hbase版本兼容性Hive版本 hive-1.2.1、hbase的版本hbase-1...原创 2018-10-13 23:56:53 · 1429 阅读 · 0 评论 -
Spark SQL整合hive
为什么要进行整合？由于hive原生是基于MapReduce的，导致其查询耗时较长。为了保留Hive的架构解决方案，并优化查询速度，采用SparkSql与hive整合(spark on hive)，通过SparkSql读取hive中表的元数据，把HiveHQL底层采用MapReduce处理任务导致性能慢的特点，改为更加强大的Spark引擎来进行相应的计算处理。环境搭建准备1、搭建hadoop...原创 2018-10-13 21:33:17 · 3557 阅读 · 3 评论 -
Hive函数——UDF
Hive函数内置函数自定义函数根据用户自定义函数类别分为以下三种：官方文档地址编程步骤：注意事项通过java进行UDF开发实例1、导包，引入依赖2、开发java类继承UDF，并重载evaluate 方法3、打包，上传到hive的lib目录下4、在hive客户端添加jar包5、设置函数与我们的自定义函数关联6、使用自定义函数内置函数查看系统自带的函数 show functions;显示自带...原创 2018-09-28 19:59:00 · 250 阅读 · 0 评论 -
Hive基本操作——DML操作
DML操作select语法结构：全表查询选择特定列查询列别名常用函数LIMIT语句WHERE语句比较运算符（BETWEEN/IN/ IS NULL）LIKE和RLIKE逻辑运算符（AND/OR/NOT）分组GROUP BY语句HAVING语句having与where不同点JOIN语句等值JOIN表的别名内连接（INNER JOIN）左外连接（LEFT OUTER JOIN）右外连接（RIGHT O...原创 2018-09-28 14:25:07 · 505 阅读 · 0 评论 -
Hive基本操作——Hive表中加载数据
1、hive表中加载数据直接向分区表中插入数据create table score3 like score;insert into table score3 partition(month ='201807') values ('001','002','100');通过查询插入数据通过load方式加载数据load data local inpath '/export/servers...原创 2018-09-27 22:41:22 · 844 阅读 · 0 评论 -
Hive基本操作——DDL操作
DDL操作1、数据库创建数据库创建数据库并指定hdfs存储位置修改数据库查看数据库详细信息删除数据库2、数据库表创建数据库表语法管理表Hive建表操作Hive建表时候的字段类型创建表并指定字段之间的分隔符根据查询结果创建表根据已经存在的表结构创建表查询表的类型外部表外部表说明：管理表和外部表的使用场景：操作案例分区表创建分区表语法创建一个表带多个分区加载数据到分区表中加载数据到一个多分区的表中去多...原创 2018-09-27 22:34:15 · 1197 阅读 · 0 评论 -
Hive的安装部署
Hive的安装使用mysql共享hive元数据mysql数据库的安装修改hive的配置文件修改hive-env.sh修改hive-site.xml上传mysql的lib驱动包使用方式第一种交互方式：Hive交互shell第二种交互方式：启动Hive JDBC服务第三种交互方式：Hive命令这里仅在node03上安装hive.(hadoop环境是Hive安装的前提)使用mysql共享hive元数...原创 2018-09-21 22:07:28 · 727 阅读 · 0 评论 -
Zepplin安装使用
一 下载安装包http://zeppelin.apache.org/download.htmlzeppelin-0.8.1-bin-all.tgz下载第一个安装包二 上传并解压上传到Linuxtar -zvxf zeppelin-0.8.1-bin-all.tgz -C /root进入目录cd /root/zeppelin-0.8.1-bin-all/-------ok,安...原创 2019-08-12 13:34:45 · 1029 阅读 · 0 评论