我还是个菜鸟

scalascala安装scala 使用方式函数的声明总结编译和执行getter和setter主辅构造器1.主构造器2.多辅构造器总结伴生与单例对象单例对象:伴生对象总结Apply和UpDateapplyupdate总结继承和特质(Trait=Java中的interface)继承--extends特质 trait函数式编程1、样例类案例2、模式匹配常量匹配类型匹配Array匹配模式匹配Option...

RDD<1> 概述一. 什么是RDD二. spark 编程模型1. DataSource2. SparkContext3. Diver（1）SparkConf（2）SparkEnv（3）DAGScheduler（4）TaskScheduler（5）ScheduleBackend二. RDD属性RDD的五个特征包含四个函数和一个属性：1. 一组分片（Partition）分片2. 一个计算...

spark spark 概述一. spark和hadoop二. 应用常景和解决生态系统组件应用场景Spark执行任务流程图三. Spark安装四. Spark部署模式1、单机本地模式（Spark所有进程都运行在一台机器的JVM中）2、伪分布式模式 （在一台机器中模拟集群运行,相关的进程在同一台机器上）。3、分布式模式包括：Spark自带的 Standalone、Yarn、Mesos。3.1 ...

图片一. 概念二.流程三. Spark运行架构具有以下特点一. 概念一个Application由一个Driver和若干个Job构成，一个Job由多个Stage构成，一个Stage由多个没有Shuffle关系的Task组成（多个RDD算子操作）stage：宽窄依赖划分当执行一个Application时，Driver会向集群管理器申请资源，启动Executor，并向Executor发送应...

spark-shuffle与MapReduce shuffleMR shuffle1、map端2、reduce端配置调优map端的调优属性：reduce端的调优属性spark shuffle一.定义二.演变三.Hash Shuffle V1有多少个reduce任务就会产生多少个中间文件（一个task--->所产生的文件数量=== reduce task数量）Hash Shuffle V1 过...

spark Streaming一 .概述1. Spark Streaming原理2. Spark Streaming作业流程3.Spark Streaming 与 Strom3.1 处理性能对比3.2 架构对比3.3 模型对比3.4 异同4. 数据流（离散数据流）4.1 DStream特点5 数据源6 Spark Streaming 读取外部数据6.1 原理6.2 步骤6.3 创建 Streami...

hive on Spark一. 配置二. hive三种模式1、内嵌Derby方式2.Local方式3.Remote方式 (远程模式)三. spark sql 远程连接（thriftserver -- beeline）2 .spark-sql3.scala操作spark-SQL四 .spark on hive(HiveServer 2)1. HiveServer 22. beline3. Sp...