王知无(import_bigdata)
微信搜:import_bigdata
GitHub搜:https://github.com/wangzhiwubigdata/God-Of-BigData
展开
-
【硬刚Hive】Hive 基础(一):使用基础(1)Hive 基本概念
欢迎关注博客主页:https://blog.youkuaiyun.com/u013411339欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 什么是 HiveHive:由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映.原创 2021-09-07 00:01:28 · 691 阅读 · 0 评论 -
【硬刚Hive】Hive基础(二):使用基础(2)Hive 安装(一)(centos)
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 Hive安装地址1)Hive官网地址http://hive.apache.org/2)文档查看地址h.原创 2021-09-10 13:27:04 · 444 阅读 · 1 评论 -
【硬刚Hive】Hive基础(三):使用基础(3)Hive 安装(二) (centos)
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。6启动Hive6.1初始化元数据库1)登陆MySQL[atguigu@hadoop102 software]$ ...原创 2021-09-10 13:53:19 · 424 阅读 · 0 评论 -
【硬刚Hive】Hive基础(四):Hive 数据类型(一)
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 基本数据类型对于 Hive 的 String 类型相当于数据库的 varchar 类型,该类型是一个可变的字符串,不.原创 2021-09-10 14:08:19 · 623 阅读 · 0 评论 -
【硬刚Hive】Hive基础(五):Hive语法(1) DDL (1)数据定义(创建数据库/查询数据库/修改数据库/删除数据库/创建表/修改表/ 删除表)
12 篇文章1 订阅欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 创建数据库CREATE DATABASE [IF NOT EXISTS] database_n原创 2021-09-10 19:16:06 · 449 阅读 · 2 评论 -
【硬刚Hive】Hive基础(六):Hive语法(2) DML(1) 数据操作(数据导入/数据导出)
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 数据导入1.1 向表中装载数据(Load)1.语法hive> load data [local] in.原创 2021-09-10 20:08:20 · 378 阅读 · 0 评论 -
【硬刚Hive】Hive基础(七):Hive语法(3) DML(2) DQL(1)基本查询/Where 语句/分组
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。https://cwiki.apache.org/confluence/display/Hive/LanguageManual+.原创 2021-09-10 20:27:15 · 408 阅读 · 0 评论 -
【硬刚Hive】Hive基础(八):Hive 函数(1) 系统内置函数/常用内置函数
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 系统内置函数1)查看系统自带的函数hive> show functions;2)显示自带的函数的用法...原创 2021-09-10 20:37:07 · 644 阅读 · 0 评论 -
【硬刚Hive】Hive基础(九):HIVE使用基础(4) 压缩和存储
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 Hadoop 压缩配置1.1 MR 支持的压缩编码http://google.github.io/sn..原创 2021-09-10 21:02:21 · 413 阅读 · 0 评论 -
【硬刚Hive】Hive基础(10):元数据(一)Hive的元数据表结构详解
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。https://blog.youkuaiyun.com/yu0_zhang0/article/details/806979131 ....原创 2021-09-10 21:28:29 · 1356 阅读 · 0 评论 -
【硬刚Hive】Hive基础(11):元数据(二)分析Hive表和分区的统计信息(Statistics)
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。http://lxw1234.com/archives/2015/07/413.htm类似于Oracle的分析表,Hive中.原创 2021-09-10 21:34:02 · 690 阅读 · 0 评论 -
【硬刚Hive】Hive基础(12):Hive语法(6) DDL(3) hive动态分区
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。往hive分区表中插入数据时,如果需要创建的分区很多,比如以表中某个字段进行分区存储,则需要复制粘贴修改很多sql去执行,效率低.原创 2021-09-10 21:38:35 · 379 阅读 · 0 评论 -
【硬刚Hive】Hive基础(13):HIVE函数(7) 字符串函数 String Functions
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。ascii(string str)返回结果: 返回字符串str首字母的十进制ascii码返回类型: intselect as.原创 2021-09-11 00:06:10 · 482 阅读 · 0 评论 -
【硬刚Hive】Hive基础(14):HIVE语法(7)DML(4)DQL(3)流程控制语句(一) IF
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。语法 IF( expr1 , expr2 , expr3 )其中, expre1是判断条件,expr2和expr3是符合...原创 2021-09-11 00:09:38 · 348 阅读 · 0 评论 -
【硬刚Hive】Hive基础(15):HIVE语法(8)DML(5)DQL(4)流程控制语句(二) CASE
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。简单CASE WHEN函数:CASE SCORE WHEN 'A' THEN '优' ELSE '不及格' END....原创 2021-09-11 00:16:08 · 387 阅读 · 0 评论 -
【硬刚Hive】Hive基础(16):Hive函数(8) 常用函数
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。常用日期函数unix_timestamp:返回当前或指定时间的时间戳select unix_timestamp();sel.原创 2021-09-11 01:20:42 · 370 阅读 · 0 评论 -
【硬刚Hive】Hive基础(17):Hive语法(4) DML(3) DQL(2)Join 语句/ 排序
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。4 Join 语句4.1 等值 JoinHive 支持通常的 SQL JOIN 语句。1)案例实操(1)根据...原创 2021-09-11 01:36:32 · 343 阅读 · 0 评论 -
【硬刚Hive】Hive基础(18):Hive语法(5) DDL(2) 分区表和分桶表
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 分区表分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive 中的分区.原创 2021-09-11 01:52:20 · 428 阅读 · 0 评论 -
【硬刚Hive】Hive基础(19):Hive 函数(2) 自定义函数/自定义 UDF 函数/自定义 UDTF 函数
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。3 自定义函数1)Hive 自带了一些函数,比如:max/min 等,但是数量有限,自己可以通过自定义 UDF 来方...原创 2021-09-11 01:56:25 · 403 阅读 · 0 评论 -
【硬刚Hive】HIVE基础(20):Hive函数(9) over 窗口函数
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。hive窗口函数语法在前言中我们已经说了avg()、sum()、max()、min()是分析函数,而over()才是窗..原创 2021-09-11 03:10:13 · 789 阅读 · 0 评论 -
【硬刚Hive】HIVE基础(21):Hive 数据类型(二)
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。hive的集合数据类型包括三种,分别是Array、Map和Struct下面分别介绍一下关于集合类型的创建表、插入数据以及.原创 2021-09-11 03:14:45 · 467 阅读 · 0 评论 -
【硬刚Hive】Hive高级(1):优化(1) 执行计划/ Fetch 抓取 /本地模式
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 执行计划(Explain)1)基本语法EXPLAIN [EXTENDED | DEPENDENCY | AUTHO.原创 2021-09-10 21:06:22 · 438 阅读 · 0 评论 -
【硬刚Hive】Hive高级(2):优化(2) 表的优化
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 小表大表 Join(MapJOIN)将 key 相对分散,并且数据量小的表放在 join 的左边,可以使用 map jo.原创 2021-09-10 21:15:47 · 600 阅读 · 0 评论 -
【硬刚Hive】Hive高级(3):优化(3) 合理设置 Map 及 Reduce 数/并行执行/ 严格模式/JVM 重用/压缩
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。5 合理设置 Map 及 Reduce 数1)通常情况下,作业会通过 input 的目录产生一个或者多个 map ....原创 2021-09-11 02:00:47 · 822 阅读 · 0 评论 -
【硬刚Hive】Hive高级(4):优化(4)HiveSQL优化方法与实践(一)
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。导读:HiveSQL是数据仓库与数据分析过程中的必备技能,随着数据量增加,这一技能越来越重要,熟练应用的同时会带来效率的问题,.原创 2021-09-10 23:59:31 · 469 阅读 · 0 评论 -
【硬刚Hive】Hive高级(5):优化(5)HiveSQL优化方法与实践(二)
111原创 2022-08-09 23:06:40 · 878 阅读 · 0 评论 -
【硬刚Hive】Hive高级(6):优化(6)explain执行计划详解(一)
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。导读:不懂hive中的explain,说明hive还没入门,学会explain,能够给我们工作中使用hive带来极大的便利!..原创 2021-09-11 00:23:58 · 495 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(8):优化(8) Explain 查看执行计划(二)
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 创建测试用表1)建大表、小表和 JOIN 后表的语句// 创建大表create table bigta....原创 2021-09-11 02:04:33 · 374 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(15):优化(15) Explain 查看执行计划(三)
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。0 简介Hive SQL的执行计划描述SQL实际执行的整体轮廓,通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑,.原创 2021-09-11 02:52:19 · 552 阅读 · 0 评论 -
【硬刚Hive】Hive高级(7):优化(7) 数据倾斜问题剖析
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。数据倾斜问题剖析数据倾斜是分布式系统不可避免的问题,任何分布式系统都有几率发生数据倾斜,但有些小伙伴在平时工作中感知不是很明.转载 2021-09-11 00:30:56 · 471 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(9):优化(9) Hive 建表优化(1) 分区表/分桶表/合适的文件格式/合适的压缩格式
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 分区表 分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。....原创 2021-09-11 02:15:19 · 466 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(10):优化(10) HQL 语法优化(1) 单表优化
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 列裁剪与分区裁剪 列裁剪就是在查询时只读取需要的列,分区裁剪就是只读取需要的分区。当列很多或者数据量很大时,如果..原创 2021-09-11 02:20:55 · 417 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(11):优化(11) HQL 语法优化(2) 多表优化
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。6 CBO 优化 join 的时候表的顺序的关系:前面的表都会被加载到内存中。后面的表进行磁盘扫描select a..原创 2021-09-11 02:28:50 · 484 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(12):优化(12) 数据倾斜
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。0 简介 绝大部分任务都很快完成,只有一个或者少数几个任务执行的很慢甚至最终执行失败,这样的现象为数据倾斜现象。..原创 2021-09-11 02:32:33 · 429 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(13):优化(13) Hive Job 优化
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 Hive Map 优化1.1 复杂文件增加 Map 数当 input 的文件都很大,任务逻辑复杂,map 执行非常慢.原创 2021-09-11 02:39:07 · 455 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(14):优化(14) Hive On Spark配置
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。1 Executor 参数以单台服务器 128G 内存,32 线程为例。1.1 spark.executor.cores.原创 2021-09-11 02:41:55 · 596 阅读 · 0 评论 -
【硬刚Hive】HIVE高级(16):底层原理(1) Hive SQL底层执行原理
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。本节结构采用宏观着眼,微观入手,从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执..原创 2021-09-11 03:00:55 · 521 阅读 · 0 评论 -
【硬刚Hive】Hive实战(1):Hive 函数(3) HiveSQL 高阶函数合集实战(一)窗口函数
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。目录数据准备 数据集 建表语句窗口函数 row_number:使用频率 ★★★★★ rank :.原创 2021-09-10 22:32:43 · 537 阅读 · 0 评论 -
【硬刚Hive】Hive实战(2):Hive 函数(4)HiveSQL 高阶函数合集实战(二)集合相关、URL相关、JSON相关、列转行相关
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。collect_set:使用频率 ★★★★★将分组内的数据放入到一个集合中,具有去重的功能;1 --统计每个用.原创 2021-09-10 23:41:23 · 433 阅读 · 0 评论 -
【硬刚Hive】Hive实战(3):Hive 函数(5)HiveSQL 高阶函数合集实战(三)Cube相关、字符相关
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 优快云博客!本文首发优快云论坛,未经过官方和本人允许,严禁转载!本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。Cube相关GROUPING SETS:使用频率 ★类似于kylin中的cube,将多种维度进行组合统计;在一个GRO.原创 2021-09-10 23:52:14 · 493 阅读 · 0 评论