qq_39425845的博客

Spark On Yarn搭建及各运行模式说明https://www.cnblogs.com/rmxd/p/12273395.html◦1、单机模式◦2、伪集群模式◦3、集群模式1---spark自带的Cluster Manager的Standalone client模式◦4、集群模式2---spark自带的Cluster Manager的standalone cluster模式◦5、集群模式3---基于Yarn的ResourceManager的Client模式◦6、集群模式4----基于.

spark 与hadoop 之比较一、存储结构   1、hadoop ：hadoop文件系统下的split（split是逻辑数据单元，block存储物理单元，split可能会跨block存储）;2、spark：使用基于内存的弹性分布式数据集RDD，进行数据基本运算和缓存（RDD是对象，肯定存储在内存中）；       二、编码模式 1、hadoop ：Map + Reduce（

rdd 5大特性

1、构建Spark Application的运行环境（启动SparkContext），SparkContext向   资源管理器（Standalone、Mesos或YARN）注册并申请Executor运行资源；2、资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor   运行情况将随着心跳发送到资源管理器上；3、SparkCo

一、SparkConf概述1. SparkContext需要传入SparkConf来进行初始化，用于维护Spark的配置属性；2. SparkConf内部使用ConcurrentHashMap来维护所有的配置；3. SparkConf提供的setter方法返回的是this，所有它允许使用链式来设置属性。二、SparkContext的初始化1. 复制SparkConf配置

进行beeline结果输出并解析时遇到一个字符串格式问题，正确操作如下：beeline -u $url --silent=true --showHeader=false --outputformat=csv --color=true -e "$hql"  格式参数:--outputformat=[table/vertical/csv/tsv/dsv/csv2/tsv2]1、输出格式一定

1、开发工具idea下载https://www.jetbrains.com/idea/download/#section=windows2、scala插件下载http://plugins.jetbrains.com/files/1347/43504/scala-intellij-bin-2018.1.3.zip?updateId=43504&pluginId=13473、spark-2.2...