Wei_HHH的博客

Hive调优

Hive函数一、常用内置函数数学运算函数字符串函数时间函数条件控制函数集和函数分组聚合函数表生成函数JSON解析函数窗口分析函数二、自定义函数UDF、UDAF、UDTF比较自定义UDF创建临时函数创建永久函数一、常用内置函数数学运算函数字符串函数时间函数条件控制函数集和函数分组聚合函数表生成函数JSON解析函数窗口分析函数二、自定义函数为什么要自定义函数？有时候 hive 自带的函数不能满足当前需要,需要自定义函数来解决问题UDF、UDAF、UDTF比较UDF 操作作用于单个

Hive系列（三）实操一、Hive使用方式shell交互启动hiveserver2脚本化运行二、Hive建库建表与数据导入建库建表内部表与外部表分区表CTAS建表语法数据导入一、Hive使用方式shell交互启动一个hive交互shellbin/hive启动hiveserver2第一步：启动hive服务前台启动命令：bin/hiveserver2后台启动命令：# 不记录日志（日志路径可以根据自己设定）nohup bin/hiveserver2 1>/dev/null 2&gt

Hive系列（二）安装部署一、环境准备1.1 JDK1.2 Haoop1.3 MySQL二、安装2.1 解压安装包2.2 配置环境变量2.3 修改配置文件2.3.1 将conf目录下带有template的文件复制一份2.3.2 修改conf/hive-env.sh文件2.3.3 创建以下目录并授权2.3.4 修改conf/hive-site.xml文件2.3.5 将下载的jdbc驱动jar包放到lib目录下2.3.6 初始化Hive三、启动hive一、环境准备1.1 JDKJDK1.81.2 Hao

一、简介1.1 什么是HiveHive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在HDFS上的数据。Hive可以将建构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。Hive可以将SQL转换成MapReduce任务运行，通过自己的SQL查询分析需要的内容。这套SQL简称Hive SQL，使不熟悉MapReduce的用户可以很方便的利用SQL语言查询、汇总和分析数据。1.2 Hive特点可扩展：Hive可以自由的扩展集群的规模，一般情况下不需

下面举两个例子：例一:行转列数据：a b 1a c 2a b 3c d 4c d 5c d 6转化为：a b 1,2,3c d 4,5,6 创表Hive>create table test1 (col1 String,col2 String,col3 String) row format delimited fields terminat