Spark入门到精通—20103人已学习
课程介绍
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
课程收益
Spark入门到精通
讲师介绍
张长志 更多讲师课程
5年互联网经验,国内第一批Android开发人员之一,在Moto负责多个项目开发,受过北京多家培训机构的邀请,讲过Android基础知识和分享一些Android前沿技术。
课程大纲
第1章:Spark开发基础part1
1. Spark介绍. 44:19
2. Spark安装. 44:19
3. Spark SparkContext-SparkConf-RDD-LineCount. 43:44
4. Spark运行独立应用程序-编译scala程序. 55:45
5. Spark运行独立应用程序(java语言编程的wc). 27:16
6. Spark变换-action. 01:34:58
第2章:Spark开发基础part2
1. 伪集合操作-reduce-fold. 01:02:19
2. pairRDD操作-rdd持久化. 01:47:05
3. 操纵key-value对-聚合-调整并发程度. 01:17:42
4. 数据排序-PairRDD-data分区. 56:56
5. 数据分区-分区器-PageRank. 01:23:33
6. 自定义分区-数据格式. 01:02:31
第3章:Spark开发基础part3
1. fold方法-json处理. 49:51
2. seq文件-obj文件-lzo. 01:22:23
3. 压缩编解码-hive. 01:04:27
4. spark-hbase集成. 55:24
5. spark-累加器-广播变量. 01:14:57
6. spark-hbase访问-hive访问-运行时架构. 01:09:41
第4章:Spark开发基础part4
1. 独立模式启动spark集群与部署. 01:02:36
2. maven编译spark应用. 36:27
3. maven编译spark应用2 59:32
4. spark集群应用程序. 53:49
5. spark集群应用程序部署模式cluster-client. 16:58
6. spark集群虚拟机磁盘扩展. 54:47
7. spark yarn集群. 50:30
8. spark SQL-hive. 01:06:42
第5章:Spark开发基础part5
1. Spark-SQL. 01:11:39
2. Spark-SQL2. 43:56
3. Spark-Streaming. 01:51:12
第6章:Spark开发基础part6
1. Spark-Hive集成. 52:43
2. Spark-Streaming集成. 01:18:57
3. Spark-Streaming-kafka集成. 01:04:28
4. Spark-Streaming-kafka集成2. 35:58
5. Spark-Streaming-kafka集成3(maven打包) 13:31
6. Spark-graphx计算. 01:25:52
7. Spark-graphx计算2. 01:05:49
大家可以点击【 查看详情】查看我的课程
课程介绍

Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
课程收益
Spark入门到精通
讲师介绍
张长志 更多讲师课程
5年互联网经验,国内第一批Android开发人员之一,在Moto负责多个项目开发,受过北京多家培训机构的邀请,讲过Android基础知识和分享一些Android前沿技术。
课程大纲
第1章:Spark开发基础part1
1. Spark介绍. 44:19
2. Spark安装. 44:19
3. Spark SparkContext-SparkConf-RDD-LineCount. 43:44
4. Spark运行独立应用程序-编译scala程序. 55:45
5. Spark运行独立应用程序(java语言编程的wc). 27:16
6. Spark变换-action. 01:34:58
第2章:Spark开发基础part2
1. 伪集合操作-reduce-fold. 01:02:19
2. pairRDD操作-rdd持久化. 01:47:05
3. 操纵key-value对-聚合-调整并发程度. 01:17:42
4. 数据排序-PairRDD-data分区. 56:56
5. 数据分区-分区器-PageRank. 01:23:33
6. 自定义分区-数据格式. 01:02:31
第3章:Spark开发基础part3
1. fold方法-json处理. 49:51
2. seq文件-obj文件-lzo. 01:22:23
3. 压缩编解码-hive. 01:04:27
4. spark-hbase集成. 55:24
5. spark-累加器-广播变量. 01:14:57
6. spark-hbase访问-hive访问-运行时架构. 01:09:41
第4章:Spark开发基础part4
1. 独立模式启动spark集群与部署. 01:02:36
2. maven编译spark应用. 36:27
3. maven编译spark应用2 59:32
4. spark集群应用程序. 53:49
5. spark集群应用程序部署模式cluster-client. 16:58
6. spark集群虚拟机磁盘扩展. 54:47
7. spark yarn集群. 50:30
8. spark SQL-hive. 01:06:42
第5章:Spark开发基础part5
1. Spark-SQL. 01:11:39
2. Spark-SQL2. 43:56
3. Spark-Streaming. 01:51:12
第6章:Spark开发基础part6
1. Spark-Hive集成. 52:43
2. Spark-Streaming集成. 01:18:57
3. Spark-Streaming-kafka集成. 01:04:28
4. Spark-Streaming-kafka集成2. 35:58
5. Spark-Streaming-kafka集成3(maven打包) 13:31
6. Spark-graphx计算. 01:25:52
7. Spark-graphx计算2. 01:05:49
大家可以点击【 查看详情】查看我的课程