坚持自己的梦想

2017/1/10 8:27Spark架构原理**概念词汇：**Application，Application Jar，Driver program（驱动程序）、Cluster Manager（管理集群资源的外部服务）、Deploy mode（决定在何处运行Driver进程的部署模式：cluster和client）、worker node、Executor、Task、job、stage（阶段）、RD

Spark Streaming， 其实就是一种Spark提供的， 对于大数据， 进行实时计算的一种框架。

spark shell,RDD创建,RDD的特性,常用的一些算子,简单案例

使用编程接口来创建DataFrame.

jupyter配置scala和Spark支持。 Jupyter Notebook（此前被称为 IPython Notebook）是一个交互式笔记本，支持运行 40 多种编程语言。Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。 用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等