大数据
关注
分享
扫一扫
文章平均质量分 73
NewTech精选
专注分享软硬件等相关技术文章。用代码改变生活、改变世界
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
工作中常用SQL片段整理（一）
获取数据集起止时间 select DATE_FORMAT(t.acquisition_time,’%Y%m%d’) from ((SELECT acquisition_time FROM stress_datainfo ORDER BY acquisition_time ASC limit 1) UNION (SELECT acquisition_time FROM stress_datainfo ORDER BY acquisition_time DESC limit 1))t ...原创 2021-08-28 22:28:26 · 199 阅读 · 0 评论 -
hadoop权威指南笔记
hadoop的核心思想是MapReduce，但shuffle又是MapReduce的核心。shuffle的主要工作是从Map结束到Reduce开始之间的过程。首先看下这张图，就能了解shuffle所处的位置。图中的partitions、copy phase、sort phase所代表的就是shuffle的不同阶段。 shuffle阶段又可以分为Map端的shuffle和Reduce端的shuffle。 一、Map端的shuffle Map端会处理输入数据并产生中间结果，这个中间结果会写到本地原创 2021-07-04 23:41:45 · 342 阅读 · 0 评论