takeuherat的博客

Hive优化整理 压缩格式 ​ 常见的压缩格式有Sequence File、RC、ORC、Parquet。生产环境中hive一般用orc，spark一般用parquet，snappy配合parquet性能最高。 注意点 1）orc格式的表不能通过load data导入数据 2）Sequence 可分割，与hadoop文件兼容 3）ORC快速存取，列压缩 Hive函数 内置函数 1.NVL( value，default_value) ，给值为 NULL 的数据赋值 2.CASE WHEN THEN ELSE

文章目录Hive函数与调优函数系统内置函数自定义函数1.UDF函数2.UDTF函数调优开启map阶段输出压缩开启reducer阶段的数据压缩文件存储格式测试存储和压缩企业级调优Fetch抓取本地模式表的优化1.小表、大表join2.大表join大表3.MapJoin（小表join大表）4.Group By5.Count(Distinct)去重统计6.笛卡尔积7.行列过滤8.动态分区调整合理设置Ma...

Hive的CRUD DDL 数据定义 创建数据库 1）创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。 ​ hive (default)> create database db_hive; 2）避免要创建的数据库已经存在错误，增加 if not exists 判断。（标准写法） ​ hive (default)> cr...

Hive安装与客户端命令 Hive 基本概念 Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序 Hive 安装 1．Hive 官网地址 http://hive.apache.org/ 2．文档查看...