《Spark The Definitive Guide》Spark 权威指南学习计划

最新推荐文章于 2021-06-06 15:40:08 发布
转载 最新推荐文章于 2021-06-06 15:40:08 发布 · 589 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://juejin.im/post/5cd3dc06e51d456e2d69a83e
文章标签：

#大数据 #python #人工智能

本书为OReilly出版的《Spark:The Definitive Guide》精读笔记，涵盖Spark2.0改进、结构化API操作、Structured Streaming、MLlib机器学习库等内容。作者计划详细解析从大数据处理到机器学习的全面知识。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本书出自OReilly的《Spark: The Definitive Guide Big Data Processing Made Simple》，由Matei Zaharia, Bill Chambers两位大佬所写，是2018年2月的第一版（我也不清楚有没有最新版，搜也没搜到第二版）

参考本书主页介绍，着眼于Spark 2.0的改进，探索Spark结构化API的基本操作和常用功能，以及用于构建端到端流应用程序的新型高级API Structured Streaming。学习监控，调优和调试Spark的基础知识，并探索机器学习技术和场景，以便使用Spark的可扩展机器学习库MLlib。

  • 轻松了解大数据和Spark
  • 通过工作示例了解DataFrames，SQL和Datasets-Spark的核心API
  • 深入了解Spark的低级API，RDD以及SQL和DataFrame的执行
  • 了解Spark如何在群集上运行
  • 调试，监视和调整Spark集群和应用程序
  • 了解结构流，Spark的流处理引擎的强大功能
  • 了解如何将MLlib应用于各种问题，包括分类或推荐

OReilly它家的书都是把代码和案例放在github上的，这本书也不例外，见此databricks/Spark-The-Definitive-Guid

实际上，这并非我初学Spark了，之前也有所涉猎，但想着能够深入学习，便计划写下文章加深自己理解，以及分享知识。

本书并非是对原作的翻译，好像目前国内也没有出版社翻译了这本书，仅仅是叙述自己读书的心得、想法，并结合自己之前所学加以新内容。

计划

  • 计划第1、2、3章
    • 计划作废，和大多书一样前面内容都是总览性内容，实际性的东西也很杂，所以先放置待后期补上吧
  • 计划4、5、6章吧，（～5.26）
    • 已完成4、5，预计可达成
  • 机器学习相关第24～31不打算看

目录

书籍分为以下七大部分：

  • 大数据和Spark概述
    • Chapter 1 to 2：了解Apache Spark
    • Chapter 3：了解Spark的工具集
  • 结构化API——DataFrames, SQL, and Datasets
  • 底层API
    • Chapter 12：弹性分布式数据集（RDDs）
    • Chapter 13：高级的 RDDs
    • Chapter 14：分布式共享变量
  • 生产上的应用
    • Chapter 15：Spark 如何在集群上运行
    • Chapter 16：开发 Spark 应用程序
    • Chapter 17：部署 Spark
    • Chapter 18：监控和调试
    • Chapter 19：性能调优
  • Streaming流
    • Chapter 20：Stream 流处理基础
    • Chapter 21：结构化Streaming流的基础
    • Chapter 22：事件时间（Event-time）和状态处理
    • Chapter 23：生产中的结构化流处理
  • 高级数据分析和机器学习
    • Chapter 24：高级分析和机器学习预览
    • Chapter 25：预处理和特征工程
    • Chapter 26：分类
    • Chapter 27：回归
    • Chapter 28：Recommendation 推荐
    • Chapter 29：非监督性学习
    • Chapter 30：图分析
    • Chapter 31：深度学习
  • Spark 生态
    • Chapter 32：语言细节: Python (PySpark)和 r (SparkR 和 sparklyr)
    • Chapter 33：生态和社区

收录于此：josonle/Spark-The-Definitive-Guide-Learning，优先上传到本仓库

更多推荐： Coding Now

学习记录的一些笔记，以及所看得一些电子书eBooks、视频资源和平常收纳的一些自己认为比较好的博客、网站、工具。涉及大数据几大组件、Python机器学习和数据分析、Linux、操作系统、算法、网络等

转载于:https://juejin.im/post/5cd3dc06e51d456e2d69a83e

Spark The Definitive Guide Spark权威指南中文笔记
FishChina的博客
08-18 3672
目前在做Spark开发，所用到的参考资料便是Spark: The Definitive Guide。目前暂时没有中文版，为了记录学习和工作的过程，顺便等待中文版的推出，便将每章节的学习过程总结下来，以加深印象。 前6章不再赘述，前面的技术大牛已经翻译和整理笔记完毕，下面放出地址： 1-6章以及部分12章RDD翻译 Spark: The Definitive Guide 2019中文版-开源翻译项目...
Spark集群权威指南
GeekSeattle的博客
12-21 1850
Spark集群权威指南 Spark运行模式 Spark部署模式主要有四种：最简单就是Local模式（单机本地模式）、当然 Spark 还有自带的Standalone模式（使用Spark自带的简单集群管理器）。还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 YARN模式（使用YARN作为集群管理器）和Mesos模式（使用Mesos作为集群管理器）中。对于大多数情况 Sta
Spark_The Definitive Guide-O'Reilly(2018).epub
03-26
Welcome to this first edition of Spark: The Definitive Guide! We are excited to bring you the most complete resource on Apache Spark today, focusing especially on the new generation of Spark APIs introduced in Spark 2.0. Apache Spark is currently one of the most popular systems for large-scale data processing, with APIs in multiple programming languages and a wealth of built-in and third-party libraries. Although the project has existed for multiple years—first as a research project started at UC Berkeley in 2009, then at the Apache Software Foundation since 2013—the open source community is continuing to build more powerful APIs and high-level libraries over Spark, so there is still a lot to write about the project. We decided to write this book for two reasons. First, we wanted to present the most comprehensive book on Apache Spark, covering all of the fundamental use cases with easy-to-run examples. Second, we especially wanted to explore the higher-level “structured” APIs that were finalized in Apache Spark 2.0—namely DataFrames, Datasets, Spark SQL, and Structured Streaming—which older books on Spark don’t always include. We hope this book gives you a solid foundation to write modern Apache Spark applications using all the available tools in the project. In this preface, we’ll tell you a little bit about our background, and explain who this book is for and how we have organized the material. We also want to thank the numerous people who helped edit and review this book, without whom it would not have been possible.
Spark The Definitive Guide
04-27
Spark: The Definitive Guide Big data processing made simple
Spark the definitive guide 英文版
07-04
spark权威指南 the definitive guide 英文版， 需要的可以下载， 2018版的
Spark The Definitive Guide, 1st Edition
07-03
spark完全手册
Spark The Definitive Guide-201712
12-21
从sarifi离线保存打包而来，是2017年12月版本，应该很接近最后的发布版本了
Spark-The Definitive Guide Big Data Processing Made Simple
02-25
Spark-The Definitive Guide Big Data Processing Made Simple 完美true pdf。 Apache Spark is a unified computing engine and a set of libraries for parallel data processing on computer clusters. As of this writing, Spark is the most actively developed open source engine for this task, making it a standard tool for any developer or data scientist interested in big data. Spark supports multiple widely used programming languages (Python, Java, Scala, and R), includes libraries for diverse tasks ranging from SQL to streaming and machine learning, and runs anywhere from a laptop to a cluster of thousands of servers. This makes it an easy system to start with and scale-up to big data processing or incredibly large scale.
spark学习计划
05-05
spark学习计划,关于spark的具体学习计划
Spark: The Definitive Guide: Big Data Processing Made Simple 英文.pdf版
11-21
Spark: The Definitive Guide: Big Data Processing Made Simple 英文高清pdf版，绝对好资源。
spark the definitive guide(epub)
03-03
spark the definitive guide care this is an epub version not PDF
Apache-Spark-The-Definitive-Guide-Excerpts-R1.pdf
08-24
Spark
《Spark系列》Spark快速入门教程
https://blog.datasource.space
06-06 2966
Spark和Hadoop的根本差异是多个作业之间的数据通信问题：Spark多个作业之间数据通信是基于内存，而Hadoop是基于磁盘的。
Spark 编程指南简体中文版.pdf
11-23
Spark 编程指南简体中文版
分享几个自认为不错的学习Spark的视频资源（百度云）
热门推荐
lzw2016的博客
01-18 1万+
有段时间没写大数据相关的博客了，主要是最近一边学着Spark，一边手上做着基于Hadoop的实现一个web端推荐系统的项目。 想写点东西，整理了一会儿发现写的不咋地就没发出来，这次就放几个Spark的学习视频资源吧，是百度云链接啊 学习 Scala 进击大数据 Spark 生态圈：https://pan.baidu.com/s/1Ld35QE4xfsOQ9o6qFwxL0A 密码：detm Sp...
Spark大数据处理简易入门权威指南
本书《Spark: The Definitive Guide: Big Data Processing Made Simple 1st Edition》由Bill Chambers和Matei Zaharia两位作者共同撰写，是关于Apache Spark的权威指南。Apache Spark是一个开源的分布式计算系统，它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值