
hive
文章平均质量分 91
hive
爱上口袋的天空
一步一流年,止不住的脚步,挽不回的青春!
展开
-
09 - hive自定义函数以及分区表
0)需求自定义一个UDF实现计算给定基本数据类型的长度,例如:41)创建一个Maven工程Hive2)导入依赖3创建一个类/*** 我们需计算一个要给定基本数据类型的长度*//*** 判断传进来的参数的类型和长度* 约定返回的数据类型*/@Override=1) {if (!/*** 解决具体逻辑的*/@Overridereturn 0;@Override// 用于获取解释的字符串return "";4创建临时函数。原创 2024-05-19 16:46:04 · 876 阅读 · 0 评论 -
08 - hive的集合函数、高级聚合函数、炸裂函数以及窗口函数
语法:map (key1, value1, key2, value2, …)说明:根据输入的key和value对构建map类型案例实操:输出:1)需求说明 根据上述电影信息表,统计各分类的电影数量,期望结果如下:原创 2024-05-12 19:33:50 · 865 阅读 · 0 评论 -
07 - hive的 DDL(Data Definition Language)数据定义、DML(Data Manipulation Language)数据操作以及查询相关语法
1)语法CREATEDATABASECOMMENTLOCATIONhdfs_path]WITH2)案例(1)创建一个数据库,不指定路径注:若不指定路径,其默认路径为${hive.metastore.warehouse.dir}/database_name.db(2)创建一个数据库,指定路径(3)创建一个数据库,带有dbproperties。原创 2024-05-05 19:16:41 · 1166 阅读 · 0 评论 -
06 - metastore服务、hive服务启动脚本以及相关使用技巧
Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。metastore有两种运行模式,分别为嵌入式模式和。下面分别对两种模式进行说明:(1)嵌入式模式(2)独立服务模式生产环境中,不推荐使用嵌入式模式。因为其存在以下两个问题:(1)嵌入式模式下,每个Hive CLI都需要直接连接元数据库,当Hive CLI较多时,数据库压力会比较大。(2)每个客户端都需要用户元数据库的读写权限,元数据库的安全得不到很好的保证。原创 2024-05-02 21:39:35 · 3172 阅读 · 0 评论 -
05-Hiveserver2服务部署
hiveserver2提供JDBC/ODBC接口,使得用户可以远程访问Hive数据,即作为客户端的代理与Hadoop集群进行交互。hiveserver2部署时需要部署到一个能访问集群的节点上,保证能够直接往Hadoop上提交数据。用户在客户端提交SQL语句时,由hiveserver请求HDFS或者提交计算任务到Yarn上,再由hiveserver2将结果返回给客户端。转载 2023-10-15 18:42:30 · 471 阅读 · 0 评论 -
04-配置Hive元数据存储到MySQL
把Hive元数据写道MySQL的metastore数据库中(MySQL默认没有metastore数据库,需要提前创建:create database metastore;转载 2023-10-15 17:38:41 · 601 阅读 · 0 评论 -
03-Linux下安装MySQL8.0.33
root用户 + 123456,实现在任何主机上都能登录MySQL数据库。sudo yum -y install 缺的依赖包。解决方法:用yum直接下载。转载 2023-10-15 16:16:56 · 408 阅读 · 0 评论 -
02-Hive安装
创建表后hive把表到hdfs的路径进行映射,映射关系保存在元数据库中,在建表时可以指定hdfs路径,未指定则使用默认路径/user/hive/warehouse/中。1.9、先退出hive客户端,在hive根目录下删除derby.log和metastore_db,以及删除HDFS上的hive目录。Hive默认使用的元数据库为derby,derby数据库在同一时间只能一个客户访问,如果多个hive客户端同时访问会报错。hive优化了简单查询语句,即执行简单查询时hive不向yarn提交任务,减少了开销。转载 2023-10-15 12:00:00 · 83 阅读 · 0 评论 -
01-Hive概念及框架原理
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能,主要完成海量数据的分析和计算。优点:简化数据开发流程及提高了效率。原创 2023-10-12 22:05:41 · 143 阅读 · 0 评论