patrick_big_data的博客

文章目录自定义函数UDFtransform脚本lateral viewMultiple Lateral Views一个包容万象的小例子参考网址自定义函数UDF虽然hive已经提供了足够多的内置函数供我们使用，但是有时候需要自己去写函数来处理业务数据。以官方给的UDF例子来说明，代码如下创建一个将字符串转换成小写的函数，Lower类需要继承UDF类，并在Lower类定义访问类型为public...

文章目录标准sql里的窗口函数和分析函数标准sql里的窗口函数和分析函数

文章目录select语法where语句ALL and DISTINCT 语句Partition Based QueriesPartition Filter SyntaxGroup ByMap-side Aggregation for Group ByOrder BySort By 和 Distribute ByDifference between Sort By and Order BySetti...

文章目录介绍Hive ArchitechtureHive ClientHive ServiceProcessing Framework and Resource ManagementDistributed StorageHive的运行流程参考网址介绍Hive是开源的数据仓库工具，用于执行分布式处理和数据分析的。由Facebook开发来解决替代JAVA MR程序的。Hive使用HQL(Hive...

文章目录Partition为什么需要Partition如何创建PartitionPartition的两种类型 static VS dynamic生成测试数据动态分区验证Bucket为什么要引入Bucket特点及优点创建BucketTable Sampling VS limitPartition和Bucket数据模型图示Join介绍官方的join exmaplesMap Join原理介绍参数hive...

文章目录环境介绍下载、安装、配置TEZ测试hive on tez参考网址环境介绍组件版本hadoop2.6.5hive2.3.6tez0.8.5tez对hadoop版本是有要求的。tez 0.8及以上需要hadoop 2.6及以上。tez 0.9及以上需要hadoop 2.7及以上。下载、安装、配置TEZ从清华镜像站下载对应版本的tez如apa...

文章目录前提条件下载安装包修改配置文件验证前提条件安装好Hadoop集群和Spark，安装好数据库mysql或者postgresql。数据库的安装请参考我写的这篇博客数据库安装下载安装包从清华大学镜像网站下载最新的hive安装包 apache-hive-2.3.6-bin.tar.gz。下载后解压并建立软连接，修改 /etc/profile 文件。比较简单就不在这里赘述。export...