子清的博客

在编写HQL的过程中，很多逻辑需要反复使用。这时我们可以使用宏对这段逻辑进行提炼，起到优化开发效率、提升程序可读性的效果（尤其是括号嵌套很多层、case-when嵌套很多层的时候）。举个例子：create temporary macro sayhello (x string) concat('hello,',x,'!');select sayhello('程序员'); --输出：hello,程序员!在上面的的代码中，首先我们定义了一个名为sayhello的宏，输入参数为一个字符串x，输出为对x的拼接

文章目录datagrip安装1.资源下载2.安装datagrip激活datagrip汉化datagrip安装1.资源下载链接: https://pan.baidu.com/s/13VbH0dKmt4pQG_AYmJNZGQ 提取码: vjyw 复制这段内容后打开百度网盘手机App，操作更方便哦2.安装1）双击datagrip-2019.3.5_2.exe2）进入欢迎页面，点击next3）是否卸载旧的版本4）修改安装路径5）后面所有步骤，一路下一步，直到完成。datagrip激活

datagrip连接Hive客户端1）启动datagrip后的初始页面2）连接hive客户端3）启动hiveserver2hiveserver2出现4个id启动成功4）配置连接hive客户端参数5）显示gmall数据库6）显示控制台7）在控制台上选择操作gmall数据库常用配置1）进入配置页面2）修改字体大小通过鼠标滚动，设置字体大小。...

一.个人初始开发环境的基本情况以及Hive元数据库说明①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置)②hive-site.xml中设置元数据库对应的配置为 jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true③普通情况下咱们的mysql默认编码是latin1,但是我们在日常开发中大多数情况下需要用到utf-8编码,如果是默认latin1的话,咱们的中文存储进去容易乱码,所以说大家在遇到一些

1.1 Hive引擎简介​ Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。1.2 Hive on Spark配置1）兼容性说明注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为

文章目录题目一题目二题目三题目一学生表(STUDENT)的字段含义：SNO 代表学号，SNAME 代表学生姓名，SAGE 代表学生年龄，SSEX 代表学生性别课程表(COURSE)的字段含义：CNO 代表课程编号，CNAME 代表课程名字，TNO 代表教师编号，成绩表(SC)的字段含义：SNO 代表学号,CNO 代表课程编号,SCORE 代表成绩教师表(TEACHER)的字段含义：TNO 代表教师编号，TNAME 代表教师姓名查询所有学生的学号、姓名、选课数、总成绩、平均

Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row {"order_id":15793,"order_date":"2013-11-03 00:00:00.0","order_customer_id":6471,"order_status":"COMPLETE"} at org.apache.ha

1.环境准备安装hadoop 以及 zookeeper、mysql《适合小白的配置hadoop环境教程》《zookeeper的安装与配置》《Linux环境配置MySQL（附文件）》2.解压安装本教程所需的包：链接: https://pan.baidu.com/s/1IgIOW9xXW11tJWcJbquQ2w 提取码: uk5i将压缩包上传到opt文件夹，并解压tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz将文件夹改名为hive:mv hive-1.1.0-cd

文章目录1.Hive入门1.1什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3Hive架构原理2.Hive安装2.1Hive安装2.2HiveJDBC访问2.2.1启动hiveserver2服务2.2.2连接hiveserver2服务2.2.3注意2.3Hive常用交互命令2.4Hive其他命令操作2.5Hive常见属性配置2.5.1数据仓库位置配置2.5.2查询后信息显示配置2.5.3运行日志信息配置3.Hive数据类型3.1基本数据类型3.2集合数据类型3.3类型转化4.DD

文章目录1.Hive入门1.1什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3Hive架构原理1.Hive入门1.1什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上1.

文章目录2.Hive安装2.1Hive安装2.2HiveJDBC访问2.2.1启动hiveserver2服务2.2.2连接hiveserver2服务2.2.3注意2.3Hive常用交互命令2.4Hive其他命令操作2.5Hive常见属性配置2.5.1数据仓库位置配置2.5.2查询后信息显示配置2.5.3运行日志信息配置2.Hive安装2.1Hive安装《Hive安装教程》2.2HiveJDBC访问2.2.1启动hiveserver2服务hiveserver22.2.2连接hiveserve

目录3.Hive数据类型3.1基本数据类型3.2集合数据类型3.3类型转化3.Hive数据类型3.1基本数据类型Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数20SMALINTshort2byte有符号整数20INTint4byte有符号整数20BIGINTlong8byte有符号整数20BOOLEANboolean布尔类型，true或者falseTRUE FALSEFLOATf

文章目录4.DDL数据定义4.1创建数据库4.2查询数据库4.3删除数据库4.4创建表4.4.1内部表4.4.2外部表案例详解4.4.3管理表与外部表的互相转换4.5分区表（partition）4.5.1分区表基本操作4.6修改表4.6.1重命名表4.6.2增加/修改/替换列信息4.6.3删除表4.DDL数据定义4.1创建数据库创建一个数据库，数据库在HDFS上的默认存储路径是/opt/hive/warehouse/*.dbcreate database hivetest;避免要创建的数据

文章目录5.DML数据操作5.1 数据导入5.1.1 向表中装载数据（Load）5.1.2 通过查询语句向表中插入数据（Insert）5.1.3 查询语句中创建表并加载数据（As Select）5.1.4 创建表时通过Location指定加载数据路径5.1.5 Import数据到指定Hive表中5.2 数据导出5.2.1 Insert导出5.2.2 Hadoop命令导出到本地5.2.3 Hive Shell 命令导出5.2.4 Export导出到HDFS上5.2.5 Sqoop导出5.3 清除表中数据（Tr

文章目录6.查询6.1 基本查询（Select…From）6.1.1 全表和特定列查询6.1.2 列别名6.1.3 算术运算符6.1.4 常用函数6.1.5 Limit语句6.2 Where语句6.2.1 比较运算符（Between/In/ Is Null）6.2.2 Like和RLike6.2.3 逻辑运算符（And/Or/Not）6.3 分组6.3.1 Group By语句6.3.2 Having语句6.4 Join语句6.4.1 等值Join6.4.2 表的别名6.4.3 内连接6.4.4 左外连接6

文章目录7.函数7.1Hive函数分类7.2内置函数7.2.1字符函数7.2.2 类型转换函数和数学函数7.2.3 日期函数7.2.4 集合函数7.2.5 条件函数7.2.6 聚合函数和表生成函数7.3 自定义UDF函数7.函数7.1Hive函数分类从输入输出角度分类标准函数：一行数据中的一列或多列为输入，结果为单一值聚合函数：多行的零列到多列为输入，结果为单一值表生成函数：零个或多个输入，结果为多列或多行从实现方式分类内置函数自定义函数:UDF：自定义标准函数UDAF：自定义聚合函

8.性能优化8.1 Hive事务1.事务（Transaction ）指一组单元化操作，这些操作要么都执行，要么都不执行ACID特性：Atomicity：原子性Consistency：一致性Isolation：隔离性Durability：持久性2.Hive事务的特点和局限V0.14版本开始支持行级事务支持INSERT、DELETE、UPDATE(v2.2.0开始支持Merge)文件格式只支持ORC局限表必须是bucketed表需要消耗额外的时间、资源和空间不支持开