缘字诀的博客

一、查看执行计划 explain extended hql；可以看到扫描数据的hdfs路径 二、hive表优化 分区（不同文件夹）： 动态分区开启： set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; 默认值：strict 描述：strict是避免全分区字段是动态的，必须有至少一...

concat函数,concat_ws函数，concat_group函数 hivesql中的concat函数,concat_ws函数，concat_group函数之间的区别 CONCAT（）函数 CONCAT（）函数用于将多个字符串连接成一个字符串。 使用数据表Info作为示例，其中 SELECT id,name FROM info LIMIT 1;的返回结果为 ±—±-------+ | id ...

Hive中的排序问题 order by 全局排序（慎用） 默认是升序asc，可指定降序desc。 order by是全局排序 只能有一个reduce作业来完成才能保证数据有序，这也是慎用的原因，数据太多容易导致计算 hive默认是非严格模式 hive.mapred.mode改为strict,则使用order by的时候有以下限制: 如果是普通表，则需要加 limit order by + lim...

join操作 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nyvwvfj2-1576774851855)(/img/hive2/1.png)] [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ew2Dy6I3-1576774851857)(/img/hive1/2.png)] hive中有两张表，分别为emp和dept表 hive支持...

Hive的DDL操作 创建数据库 语法 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)]; 创建数据库，存储在HDFS...

Hadoop 狭义 Hadoop是最重要最基础的一个部分 广义 Hadoop生态圈，包括Hadoop、Hive、Sqoop、HBase… Hive概述 构建在Hadoop（HDFS/MapReduce/YARN）之上的数据仓库 Hive的数据是存放在HDFS之上 Hive底层执行引擎：MapReduce/Tez/Spark，只需要通过一个参数就能够切换底层的执行引擎，Hive作业提交到YARN...