千锋大数据基础视频教程之Spark基础及源码分析

分享几个自认为不错的学习Spark的视频资源(百度云) 有段时间没写大数据相关的博客了,主要是最近一边学着Spark,一边手上做着基于Hadoop的实现一个web端推荐系统的项目。 想写点东西,整理了一会儿发现写的不咋地就没发出来,这次就放几个Spark的学习视频资源吧,是百度云链接啊 学习 Scala 进击大数据 Spark 生态圈:https://pan.baidu.com/s/1Ld35QE4xfsOQ9o6qFwxL0A 密码:detm Sp... 阅读详情

千锋大数据基础视频教程:http://pan.baidu.com/s/1dFlKbU5

大数据基础视频教程目录:

1、Scala语言环境安装、Scala的基本语法

2、常用方法联系

3、面向对象、模式匹配

4、Actor、柯里化、隐式转换

5、泛型、Akka

6、Spark集群安装、Spark任务提交、Spark实现WorldCount上传任务

7、RDD的基本概念、常用算子练习

8、案例练习

9、Spark集群启动流程和任务提交流程、案例练习

10、RDD的依赖关系、Stage划分、任务的生成、自定义排序

11、Checpoint、SparkSQL、Hive-On-Spark

12、SparkStreaming、窗口操作、Spark-on-yarn

13、源码分析:Spark启动流程、Stage划分、任务生成、任务提交流程

 

大数据基础视频教程内容介绍:

1、本视频面向拥有Java语言基础的同学,以Java语言为蓝本,深入浅出的讲解scala语言的语法和特征,并应用scala语言,讲解spark生态系统下的大数据开发技术。
2、视频讲解与实例练习相结合,通过看视频也能保证知识得到充分的实践,知识掌握更牢靠。
3、语言部分由浅入深,在掌握函数式编程和面向对象的基础上能够掌握高阶函数编程(作为值的函数、柯里化、隐式值、隐式转换),使得学生可以胜任项目中的开发之外,还可以读懂Spark源码,为以后研究Spark架构和自己编写架构奠定扎实的基础。
4、在综合案例实现过程中,通过使用Akka通信模型实现RPC远程通信框架,这样既可以深入了解Spark的通信机制,又提升了Scala语言的开发技能。
5、通过学习scala语言部分的课程,学生能够具备一名中级scala开发工程师水平。
6、本视频,系统全面的讲解Spark环境的搭建以及与Hadoop生态圈的衔接。
7、在Scala语言的基础上,深入理解Spark常用算子和高级算子的使用场景,使得学生在以后的开发过程中能够灵活运用Spark核心技术。
8、讲解Spark生态,开发与性能调优双管齐下,分享企业中实战技能,学生学习更全面,更实际。
9、深入讲解Spark源码和Spark框架,从内到外,挖掘Spark的五脏六腑,做到深入,再深入。学生可以从原理,从基石上了解Spark生态的方方面面。

大数据Hadoop学习系列之Hadoop、Spark学习路线 1 Java基础: 视频方面:推荐毕老师《毕向东JAVA基础视频教程》。 学习hadoop不需要过度的深入,java学习到javase,在多线程和并行化多多理解实践即可。 书籍方面:推荐李兴华的《java开发实战经典》 2 Linux基础: 视频方面:(1)马哥的高薪Linux视频课程-Linux入门、 (2)兄弟连的新版Linux视频教程、 (3)老段的讲解鸟哥Linux基础+私房... 阅读详情

相关推荐

Spark大型项目实战、Elasticsearch完整视频(百度网盘链接)

Elasticsearch顶尖高手系列课程(基础篇+高手篇) (从零开始精通分布式搜索ElasticSearch) #有效期 2019.11.22-29 链接:https://pan.baidu.com/s/1cvwmF9AGuGbW0klAhfSP4g 提取码:mgrk 亿级流量电商详情页系统实战(完整版):缓存架构+高可用服务架构+微服务架构 (全网唯一讲亿级流量的课程,而且有落地...

lukabruce的博客 3万+

大数据之Spark 源码分析完整使用(第七章)

大数据之Spark 源码分析

小坏说Java,一个专注Java微服务架构的实战,Java全栈教程,SpringBoot, SpringCloud微服务到分布式、高并发架构,大数据开发,运维实战,K8S、Docker容器为一体的教程,结合企业级内部的技术栈学习 610

spark视频百度网盘

01Spark部署 02Spark编程模型(1) 03Spark运行架构(1) 04Spark SQL原理和实践(4) 05Spark Streaming原理和实践 06Spark 机器学习入门 07GraphX 入门

大数据学习资料_大数据学习提纲,一份就够

朋友不在于多,知心就好;资料不在于多,精致就好。一份专业的大数据学习资料才是学习大数据的利刃。小编分享的这套大数据学习资料将从学习大纲、书籍、视频教程分别分享。  大数据学习资料之大数据学习大纲  阶段一、 Java语言基础  Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swi...

weixin_39603469的博客 677

spark全套视频教程

spark全面讲解的代码,从其中去掉解压密码,大家欢迎下载

spark视频教程

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark基础及源码分析视频-杨千锋-专题视频课程

本视频面向拥有Java语言基础的同学,以Java语言为蓝本,深入浅出的讲解scala语言的语法和特征,并应用scala语言,讲解spark生态系统下的大数据开发技术。视频讲解与实例练习相结合,通过看视频也能保证知识得到充分的实践,知识掌握更牢靠。语言部分由浅入深,使得学生可以胜任项目中的开发之外,还可以读懂Spark源码,为以后研究Spark架构和自己编写架构奠定扎实的基础。...

coding789的博客 358

spark源码分析.pdf

spark源码分析,RDD、Iterator、Job、DAG、Stage、Taskset、task等

视频教程-大数据热门技术Spark+机器学习+贝叶斯算法第3季-Spark

大数据热门技术Spark+机器学习+贝叶斯算法第3季 张长志技术全才、擅长领...

weixin_34329135的博客 205

spark视频教程,全中文讲解,中文字幕

spark视频教程,全中文讲解,中文字幕;视频中包含spark环境的搭建

Spark分布式内存计算框架视频教程

手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例,全面讲解并突出重点,让学习也变成一种快乐。 课程亮点 1,知识体系完备,阶段学习者都能学有所获。 2,综合各种方式演示代码、分析逻辑,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,使用综合案例来加强重点知识,用切实的应用场景提升编程能力,充分巩固各个知识点的应用。 5,整个课程的讲解思路是先提出问题,然后分析问题,并编程解决解题。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章、Spark 基础环境 1.课程安排说明 2.Spark 框架概述 3.快速入门 4.Standalone集群及HA 5.Spark 应用开发入门 6.Spark 应用提交 7.Spark on YARN 8.应用部署模式DeployMode 第二章、SparkCore 模块 1.RDD 概念及特性 2.RDD 创建 3.RDD 函数及使用 4.RDD 持久化 5.案例:SogouQ日志分析 6.RDD Checkpoint 7.外部数据源(HBase和MySQL) 8.广播变量和累加器 9.Spark 内核调度 10.Spark 并行度 第三章、SparkSQL 模块 1.快速入门:词频统计 2.SparkSQL 概述 3.DataFrame 4.RDD与DataFrame转换 5.数据分析SQL和DSL 6.案例:电影评分数据分析 7.DataSet 8.外部数据源Exeternal DataSource 9.集成Hive 10.自定义函数UDF 11.分布式SQL引擎(spakr-sql和Spark ThriftServer) 12.Catalyst 优化器 第四章、离线综合实战 1.综合实战概述(需求、调研、业务) 2.环境搭建(大数据环境和应用开发环境) 3.项目初始化(工具类和属性文件) 4.广告数据ETL 5.Spark 分布式缓存 6.业务报表分析 7.应用执行部署 8.Oozie和Hue集成调度Spark 应用 第五章、SparkStreaming 模块 1.Streaming流式应用概述 2.Streaming 计算模式 3.SparkStreaming计算思路 4.入门案例 5.SparkStreaming工作原理 6.DStream及函数 7.集成Kafka 8.案例:百度搜索风云榜(实时ELT、窗口Window和状态State) 9.SparkStreaming Checkpoint 10.消费Kafka偏移量管理 第六章、StructuredStreaming模块 1.StructuredStreaming 概述(核心设计和编程模型) 2.入门案例:WordCount 3.输入源InputSources 4.Streaming Query 设置 5.输出终端OutputSink 6.集成Kafka(Source和Sink) 7.案例:物联网设备数据分析 8.事件时间窗口分析 9.Streaming Deduplication数据去重 10.Continues Processing连续流处理 第七章、实时综合实战 1.综合实战概述(需求、环境搭建和项目初始化) 2.模拟交易订单数据 3.数据实时ETL存储Kafka 4.实时应用停止 5.实时增量存储(存储HBase和Elasticsearch) 6.实时订单报表(Kafka-StructuredStreaming-Redis) 7.实时应用性能调优(数据本地性、反压机制、动态资源和日志管理)

SPARK 2.4.0 学习笔记分享

SPARK 2.4.0 学习笔记分享 【本站点正在持续更新中......2018-12-26......】 微博: https://weibo.com/thinktothings SPARK 2.4.0 学习笔记分享(bilibili整套视频): https://www.bilibili.c...

chongqueluo2709的博客 255

Spark从零到精通完整版视频教程

课程亮点: 1,课程由浅到深,由原理到实践,既适合零基础也适合深入学习。 2,涵盖了Spark一站式解决方案,包括:SparkCore、SparkSQL、SparkStreaming、StructuredStreaming等技术。 3,结合实际案例,培养解决实际问题的能力。 课程内容: 1、SparkCore 2、SparkSQL 3、SparkStreaming 4、StructuredStreaming 5、Spark案例 适用人群: 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业工作的在职人员。 3、对大数据行业感兴趣的相关人员。 第一章 Spark概述和入门 第二章 SparkCore-1 第三章 SparkCore-2 第四章 SparkCore-原理 第五章 SparkSQL-基础 第六章 SparkSQL-读写 第七章 SparkSQL-转换 第八章 SparkSQL-聚合与连接 第九章 SparkSQL-综合案例 第十章 SparkStreaming 第十一章 StructuredStreaming

Hadoop学习系列之Hadoop、Spark学习路线(很值得推荐)

Hadoop学习系列之Hadoop、Spark学习路线(很值得推荐) 文章出自:http://www.cnblogs.com/zlslch/p/5448857.html  1 Java基础: 视频方面:推荐毕老师《毕向东JAVA基础视频教程》。 学习hadoop不需要过度的深入,java学习到javase,在多线程和并行化多多理解实践即可。 书籍方面:推荐李兴华的《java开发实战经典》...

暴走的后端 263

element的el-cascader组件动态加载,以及报错处理问题

Blocked aria-hidden on an element because its descendant retained focus. The focus must not be hidden from assistive technology users. 报错处理

weixin_56527169的博客 1264

SAP中MRP运行计划行超限问题的分析与解决

SAP中基于生产性物料的采购特点,通常会采用采购计划协议的方式进行采购。其具体的采购计划通常来自于成品计划独立需求,然后通过物料清单,经由MRP跑出。 在采购计划协议中的计划行中,存在一个计划行号,随着MRP在不断跑出新的计划行,该行号资源会消耗完。当计划行号消耗完后,MRP不会再跑出新的计划行。且在MD04或MD02中看不到类似提示信息。此时可以通过MD05来查看是否出现类似下图的提示信息。 ...

专注SAP应用技术文章写作,致力于拉近用户与系统间的距离; 3845

Hadoop学习系列之Hadoop、Spark学习路线

1 Java基础: 视频方面:推荐毕老师《毕向东JAVA基础视频教程》。 学习hadoop不需要过度的深入,java学习到javase,在多线程和并行化多多理解实践即可。 书籍方面:推荐李兴华的《java开发实战经典》 2 Linux基础: 视频方面:(1)马哥的高薪Linux视频课程-Linux入门、      (2)兄弟连的新版Linux视频教程、 ...

iamdll的专栏 746

IMU标定中的Allen方差

Allen方差 Allen方差是IMU标定任务中的常用工具。IMU标定可以分为确定性误差和随机误差,确定性误差包括:scale、bias、misalignment。随机误差则主要是高斯白噪声和bias随机游走。Allen方差主要用于标定随机误差。 Allen方差获取 Allen方差的计算方法如下: 保持IMU静止, 采集N个数据点。 将N个点定长分组,常用的交叠式Allen方差如下(n=3): 对于每个子集,计算均值后,计算相邻两组的方差,得到的时间-方差曲线即为Allen方差。 Alle

realjc的博客 5737

大数据框架

大数据框架 Linux Linux:无论你做的是后端还是大数据,Linux已经成为企业筛选人才的一个标准。我极力推荐观看尚硅谷韩顺平老师的Linux入门视频教程,清华大学的学霸,课程逻辑清晰,讲解透彻。 国内入门Linux课程几乎选择该门课程。这也是我学习印象最深刻的一门课,看完后,只能一句卧槽,居然还能讲的的这么清晰! 尚硅谷韩顺平Linux链接: https://www.bilibili.com/video/av21303002 可以结合《Linux就该这么学》这本术一起学习,加深对 Linux 理解!

qq_24263553的博客 527

【从0到1实战】C# WinForm开发工业级PLC监控系统(完整串口+Modbus RTU/TCP+数据库存储+源码+避坑指南)

做C#工控上位机开发的工程师,尤其是刚入行的新人,最核心的刚需就是开发一套完整的PLC监控系统。这也是工控领域最基础、最核心、应用最广的项目类型——小到单台PLC的设备测控,大到整线的产线监控,本质都是「上位机与PLC通讯,实现数据采集、参数下发、状态监控、数据存储」。碎片化的知识点学了很多,串口会用了、Modbus协议看了、数据库也懂点,但是始终无法把这些知识点串联起来,做出一套能落地的工业级PLC监控系统。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1561

Android实战——白天黑夜模式设置

白天黑夜模式是一种动态的UI模式,根据当前时间或用户设置的偏好,在白天和黑夜之间进行切换。它通过调整应用程序的颜色、亮度和其他可视化元素来提供更加舒适和易读的用户界面。

小旭的专栏 5230
上一篇: 软件测试工程师入行手册—Linux操作系统3大应用领域
下一篇: 2018年Unity3D游戏开发前景预测
码农王也
博客等级 码龄9年 1818粉丝 267原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农王也

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值