呼呼的小窝

Hive入门文章，将从Hive的产生背景、概述、发展历程、架构、与RDBMS的对比、部署及操作简单入门讲起。

Database DDL操作DDLData Definition Language(即数据的定义语言)create/delete/alter等操作，与关系型数据库中的DDL非常类似，几乎是一样的 官网：https://cwiki.apache.org/confluence/display/Hive/HomeDDL：https://cwiki.apache.o...

Hive DML介绍，包括了对如何加载数据到Hive表，导出Hive表数据到文件系，常用查询操作，export&import操作 进行了介绍与实际操作

Hive中自定义函数开发，及注册到源码中去

Hive版本的元数据表version表 字段 含义 VER_ID id主键 SCHEMA_VERSION Hive 版本 VERSION_COMMENT 版本说明Hive数据库相关元数据表DBS表 字段 含义 DB_ID 数据库ID DESC 数据库描述 DB_LOCATION...

Hive中Join的使用入门与实际操作；Common Join与Map Join的原理剖析

在本篇博文中，将对Hive中的内置函数和UDF函数的使用，进行简要介绍，并进行实际操作验证Hive内置函数的使用函数在Hive中使用的常用命令。

Hive静态单级分区表、静态多级分区表的使用，动态分区表的使用、动态分区表与静态分区表的对比介绍；通过实际操作来验证Hive中分区表的如何使用

HiveServer2&beeline的使用入门；Hive JDBC编程，完成了创建表、删除表、查询、加载数据、展示表描述符等常用操作

压缩简介 & 为什么使用压缩 & 常用压缩技术压缩简介用户行为数据 GB TB … 越来越大数据量越来越大 ==> 面对问题：如何高效的处理 ==> 优化Hadoop生态系统 ：对数据进行压缩处理使得提高我们的数据处理效率如何选择和使用压缩 就是一个至关重要的问题 摆在我们面前压缩工具：winrar、7-zip压缩：使用压缩技术来把数据“减少”的过...

存储格式基本概念官网：https://cwiki.apache.org/confluence/display/Hive/FileFormats官网介绍：Hive supports several file formats:* Text File* SequenceFile* RCFile* Avro Files* ORC Files* Parquet* Custom INPU...

好处 & 工作机制使用HiveServer2的好处： 1. HiveServer2不用直接将HDFS和Metastore暴漏给用户（对比于使用hive-cli方式） 2. 通过HA机制（从Hive 0.14开始引入该机制），解决了负载均衡和并发的问题 3. 可以在Client端通过JDBC的方式，发起操作，与数据进行交互配置HA之前，HiveServer2的工作机制： ...

内部表与外部表之间的转换 查阅官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 官网关于内部表、外部表转换的解释：TBLPROPERTIES (“EXTERNAL”=”TRUE”) in release 0.6.0+ (HIVE-1329) – Change a managed table to ...

最近有个需求，需要解析数仓中某张表的某个字段，该字段为Json，且为嵌套的多层Json，Json格式如下：由于是生产环境上的数据，因此对于某些value以xxx进行替代，并不影响sql的编写需求是需要提取出每个这种json中所有的brandName思路1：思路2：思路3：...