HIVE
关注
分享
扫一扫
文章平均质量分 70
aaaaajiboke
你可以称呼我大佬
展开
-
Hive中四种 join on筛选条件与where筛选条件的区别
tableA的结构及数据：id name grade dept 1 lijie1 100.0 102 lijie2 90.0 203 lijie3 60.0 104 lijie4 80.0 105 lijie5 70.0 20tableB的结构及数据：id name 1...原创 2018-09-16 21:39:51 · 15669 阅读 · 2 评论 -
HIVE如何处理大量小文件
小文件是如何产生的：动态分区插入数据的时候，会产生大量的小文件，从而导致map数量的暴增数据源本身就包含有大量的小文件reduce个数越多，生成的小文件也越多小文件的危害：从HIVE角度来看的话呢，小文件越多，map的个数也会越多，每一个map都会开启一个JVM虚拟机，每个虚拟机都要创建任务，执行任务，这些流程都会造成大量的资源浪费，严重影响性能在HDFS中，每个小文件约占150...转载 2019-01-25 15:16:44 · 8910 阅读 · 1 评论 -
HIVE优化
问题导读：1、Hive整体架构优化点有哪些？2、如何在MR阶段进行优化？3、Hive在SQL中如何优化？4、Hive框架平台中如何优化？一、整体架构优化现在hive的整体框架如下，计算引擎不仅仅支持Map/Reduce，并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。 整体架构优化点：...转载 2018-12-17 09:27:21 · 200 阅读 · 0 评论 -
Sqooop使用模板
Sqoop使用模板Sqoop使用模板1、测试连接数据库2、将数据从MySQL导入到HDFS1、导入到默认的HDFS路径2、导入到自定义路径3、设置map的数量，以及删除目标文件夹，防止目标路径已存在4、设置map的数量，以及删除目标文件夹，以及指定导出分隔符3、将数据从MySQL导入到hive中4、将数据从HDFS导出到MySQL中5、将数据从hive导出到M...原创 2018-09-15 20:53:35 · 375 阅读 · 0 评论 -
HIVE与HBase的集成
作用：将HBase的数据映射到HIVE表中。HIVE表类型：管理表：在HIVE表中建表的同时在HBase中不存在该表，HBase创建相同的表·，数据不是在HIVE中而是在HBase中。外部表：在HIVE中建表，同时HBase的表要提前存在，数据同样存储在HBase中。（你创建的外部表的数据来源于HBase中）框架之间的继承操作，首先考虑的是jar包：可以把HIVE集成HBase...原创 2018-09-25 11:12:11 · 1121 阅读 · 0 评论 -
用hive解决数据的查找问题（影评案例）
现有如此三份数据：1、users.dat 数据格式为： 2::M::56::16::70072对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释：用户id，性别，年龄，职业，邮政编码2、movies.dat 数据格式为： 2::Ju...转载 2018-09-23 17:59:39 · 1027 阅读 · 2 评论 -
group by 多个字段
首先group by 的简单说明: group by 一般和聚合函数一起使用才有意义,比如 count sum avg等,使用group by的两个要素: (1) 出现在select后面的字段 要么是是聚合函数中的,要么就是group by 中的. (2) 要筛选结果 可以先使用where 再用group by 或者先用...转载 2018-09-23 15:26:06 · 5887 阅读 · 0 评论 -
HIVE之优化
HIVE优化1、表和sql语句的优化思想： 大表拆分成小表，分区表，（动态分区）有可能产生大量的分区，外部表（保证数据安全），临时表是将表的数据清洗，获得想要的字段。2、MR优化思想： HIVE中底层运行的是MR程序，所以也要对MR进行优化。并行执行： 在map运行过程中，有的时候需要存在依赖关系。 例如：做单词统计，一个map做完单词统计，下一个map的输入正好是...原创 2018-09-17 13:58:26 · 249 阅读 · 0 评论 -
Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable刚刚关我的jps出现了关不掉的问题，我重新连接然后再关掉就可以了，我也不知道是什么错误。...原创 2018-09-15 22:20:10 · 555 阅读 · 0 评论 -
HIVE的模板
HIVE的使用模板1、显示所有数据库show databases;2、显示数据库所有的表use mydatabase;show tables;3、查询表中的内容select * from mytable;4、显示表的结构desc mytable;5、创建数据库create database mydatabase;6、清空表内...原创 2018-09-15 20:05:07 · 650 阅读 · 2 评论 -
HIVE的窗口函数
https://www.jianshu.com/p/9fda829b1ef1?from=timelineHIVE的窗口函数写的很棒转载 2019-02-28 23:22:18 · 327 阅读 · 0 评论