课程模块 |
课程主题 |
主要内容 |
模块一 |
Spark |
¬ Mapreduce、storm和spark模型的比较和使用场景介绍 |
模块二 |
Spark |
¬ Spark安装简介 |
模块三 |
Spark |
¬ Spark的运行架构 |
模块四 |
Spark |
• Scala基本语法与高阶语法• Scala基本语法 |
模块五 |
Spark |
¬ Spark的编程模型 • Spark的架构 • spark的容错机制 • 数据的本地性 • 缓存策略介绍宽依赖与窄依赖 |
模块六 |
Spark 数据挖掘 |
¬ Mllib的介绍 |
模块七 |
Spark Streaming原理和实践 |
¬ Spark Streaming与Strom的区别 • Streaming的容错机制 • streaming在yarn模式下的注意事项对于需结合第三方存储机制的与流式处理方案 |
模块八 |
Spark的优化 |
¬序列化优化——Kryo |
模块九 |
Spark的数据源 |
¬ Spark与HDFS的整合 |
模块十 |
Spark Streaming应用及案例分析 |
¬Spark Streaming产生动机 |
模块十一 |
典型项目 |
¬基于spark日志分析 |
大数据学习路线
最新推荐文章于 2025-04-09 20:43:40 发布