Vocal~怎么没人告诉我？大数据技术组件（更新中......）

Hadoop相关

• HDFS分布式文件系统
• MR(MapReduce)离线数据处理
  • MR-图解
• YARN集群资源管理

---

ZooKeeper

• ZooKeeper分布式协调框架

---

Flink相关

• Flink深入浅出之01：应用场景、基本架构、部署模式

• Flink深入浅出之02：编程模型、数据源、算子、connector

• Flink深入浅出之03：状态、窗口、checkpoint、两阶段提交

• Flink深入浅出之04：时间、水印、Table&SQL

• Flink深入浅出之05：CEP复杂事件

  • Flink SQL 读取 Kafka 数据到 Mysql 实战
  • Flink之SQL join
  • Flink之水印(watermark)的补充理解
  • Flink之Q&A在极端乱序下，Flink还能处理吗？

---

Hive相关

• Hive-01之数仓、架构、数据类型、DDL、内外部表
• Hive-02之分桶表、数据导入导出、静动态分区、查询、排序、hiveserver2
• Hive-03之传参、常用函数、explode、lateral view、行专列、列转行、UDF
• Hive-04之存储格式、SerDe、企业级调优
• Hive-05之查询 分组、排序、case when、 什么情况下Hive可以避免进行MapReduce
• Hive-06之函数 聚合Cube、Rollup、窗口函数
• Hive-07之企业级调优
• Hive-08之数据仓库之建模、分析
• Hive-09之主流文件存储格式对比
• Hive-10之数据倾斜处理办法

另外查询引擎Impala

• Impala查询引擎一篇应该够用额

---

Spark相关

sparkCore

• Spark核心之01：架构部署、sparkshell、程序模板
• Spark核心之02：RDD、算子分类、常用算子
  • Spark核心之02：常用算子详解
• Spark核心之03写mysql、写HBase、RDD宽窄依赖、DAG、缓存、Checkpoint
• Spark核心之04：spark程序运行架构流程、共享变量（广播变量和累加器）、程序序列化问题
• Spark核心之05：sparkOnYarn、资源参数、调度模式、资源分配策略、shuffle机制??
• Spark核心之06：知识点梳理

SparkSQL

• SparkSQL全之RDD、DF、DS ,UDF、架构、资源划分、sql执行计划、调优…

SparkStreaming

• SparkStreaming之01：简介、DStream、数据源
• SparkStreaming之02：高级算子、SparkSQL整合
• SparkStreaming之03：容错、语义、整合kafka、Exactly-Once、ScalikeJDBC
• SparkStreaming之04：调优

Spark调优

• Spark调优、基于内存模型调优
• Spark之数据倾斜调优

---

Kafka

• kakfa-1：了解架构、集群部署、命令、生产消费代码
• kakfa-2：分区策略、文件存储机制、读写效率、整合flume、监控工具
• kakfa-3：ISR机制、HW&LEO、生产者、消费者、核心参数&负载均衡
• kafka-4：常见面试题

---

HBase

• hbase-01 架构、数据模型、shell命令、javaAPI、过滤器
• hbase-02 存储原理、读写流程、region拆分合并、预分区
• hbase-03 实践、整合hive
• hbase-04 协处理器、热点、数据备份、二级索引
• hbase-05 namespace、数据的确界&TTL
• hbase-06 Phoenix安装部署&构建二级索引

---

两个数据采集工具

• Sqoop数据迁移工具一篇应该够用额
• Flume日志采集框架一篇应该够用额