- 博客(14)
- 收藏
- 关注
RSS订阅原创 spark
产生背景：mr，hive批处理、离线处理 存在一些局限性计算引擎【不关注数据存储】一个application ：包含 1 到n 个job一个job： 包含 1到n个stagerdda => rddb =>rddc action => 一个job一个stage：包含 1个到n个tasktask 和 partition 一一对应1.driver。
2023-01-29 15:07:13
333
原创 hive调优
1.一个mr作业：两个mr作业 解决数据倾斜的问题udf：add_suffixpre_suffixdistinct => job只有一个 task 只有一个reduce task来完成 =》 必然导致数据倾斜问题设置reduce 个数 是没有用的去重： distinct 性能不行解决：group by3.join1.shuffle join/ mapreduce join 普通join2.map join =》 不会导致数据倾斜1.普通join 导致数据倾斜 如何解决。
2023-01-25 16:38:46
558
原创 hive补充2
1.current_date => 打印当前时间 2022-12-28 yyyy-MM-dd。2.current_timestamp => 打印当前时间戳 2022-12-28 09:57:02.319。=> hive内置函数是否有 upper。3.unix_timestamp ** => 日期转成 秒值【1970】4.from_unixtime ** => 秒值 =》 日期格式。9.date_format 日期格式 ***5.to_date => 年月日。concat 字符串拼接。
2023-01-25 16:17:46
263
原创 hive补充
Order By： 1.全局排序 2.reduce 只有1个select * from emp order by empno; hive.mapred.mode => some risky queries are not allowed to run 【关闭】 1.order by => limit 2.分区表Sort By： 1.分区排序 2.reduce task 3.不能保证 全局
2022-12-13 08:05:24
137
原创 hive1
1、常见问题： hive vs RDBMS mysql 共同点：sql 延时性：hive适用于 离线计算 慢 事务：都支持 updata，delete hive里不用，性能差 分布式 都支持 成本：廉价 vs 成本高 数据体量：量大 vs TB PB数据2、hive表中数据存储位置： 元数据 =》 mysql table数据 =》 hdfs3、 hive参数 session 设置参数 【
2022-12-04 15:04:29
608
原创 Hadoop01
广义：以 apache hadoop软件为主的生态圈： hive、flume、hbase、kafka、spark、flink狭义：apache hadoop软件。
2022-11-16 21:16:06
724
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人