timicai的博客

hiveServer2和metaStore启动脚本 参数为：start、stop、restart、status start：启动 metastore 和 hiveserver2 服务 stop：关闭 metastore 和 hiveserver2 服务 restart：重启 metastore 和 hiveserver2 服务 status：查看 metastore 和 hiveserver2 服务状态 #!/bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs mkdir -p $

Hive函数函数及性能优化Hive函数分类内置函数字符函数类型转换函数和数学函数日期函数集合函数条件函数聚合函数和表生成函数Hive UDF开发流程Hive UDF实现Hive事务概述特性特点局限Hive事务的开启和设置Hive PLSQLHive性能调优工具EXPLAINANALYZEHive优化设计Job优化 - JVM重用（JVM Reuse）查询优化压缩算法 Hive函数分类 从输入输出角度分类 标准函数：一行数据中的一列或多列为输入，结果为单一值 聚合函数：多行的零列到多列为输入，结果为单一

Hive聚合运算一、Group by二、Having三、基础聚合四、高级聚合 一、Group by group by用于分组 Hive基本内置聚合函数与group by一起使用 如果没有指定group by子句，则默认聚合整个表 除聚合函数外，所选的其他列也必须包含在group by中 group by支持使用case when或表达式 支持按位置编号分组，需设置参数 set hive.groupby.orderby.position.alias=true; select case when

dbeaver一、下载安装二、连接hive 一、下载安装 下载链接 提取码: 8srk 下载dbeaver并在windows上安装 二、连接hive 1.开启hadoop、hiveserver2 2.右击数据库导航栏---->新建连接 选择 Apache Hive 后下一步 3.首次连接需要编辑驱动，在linux的hive的lib中找到hive-jdbc-1.1.0-cdh5.14.2-standalone.jar复制到解压的dbeaver中 填写IP地址，数据库名，sql的用户名密码，完成后点

Hive装载数据一、Load移动数据二、Insert表插入数据三、Hive数据插入文件四、Hive数据交换 一、Load移动数据 Load用于在Hive中移动数据 原始数据被移动到目标表/分区，不再存在于原始位置 local：指定文件位于本地文件系统 overwrite：表示覆盖现有数据 load data local inpath '/root/employee.txt' overwrite into table emp; //local表示文件位于本地，overwrite表示覆盖现有数据 load d

Hive窗口函数一、概述二、排序三、窗口定义 一、概述 窗口函数是一组特殊函数 扫描多个输入行来计算每个输出值，为每行数据生成一行结果 可以通过窗口函数来实现复杂的计算和聚合 语法 function (arg1,..., arg n) over ([partition by <...>] [order by <....>] [<window_clause>]) partition by类似于group by，未指定则按整个结果集 只有指定order by子

Hive建表高阶语句(CTAS and WITH) CTAS – as select方式建表（会复制表结构和表数据） create ctas_employee as select * from employee; 注：CTAS不能创建partition, external, bucket table CTE (CTAS with Common Table Expression) create table jobs_detail as with tmp as (select jobs from em

Apache Hive基础Hive的优势和特点Hive体系构架命令窗口模式（Hive Interface）Hive数据类型Hive元数据结构数据库（Database)数据表（Tables)创建临时表表操作Hive分区Hive分桶 Hive的优势和特点 提供了一个简单的优化模型 HQL类SQL语法，简化MR开发 支持在不同的计算框架上运行 支持在HDFS和HBase上临时查询数据 支持用户自定义函数、格式 成熟的JDBC和ODBC驱动程序，用于ETL和BI 稳定可靠（真实生产环境）的批处理 有庞大活跃的社区

hive下载链接: httpsHive安装一、解压安装包二、配置环境变量三、修改hive-site.xml四、启动hive五、创建,插入以及查询 一、解压安装包 将hive拖入虚拟机opt目录下，解压并重命名 tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz mv hive-1.1.0-cdh5.14.2 hive 二、配置环境变量 输入：vi /etc/profile 增加如下： export HIVE_HOME=/opt/hive export PATH=$PATH:$H