erainm

1. 模式匹配2. Option类型3. 偏函数4. 正则表达式5. 异常处理6. 提取器(Extractor)7. 案例

1. 高阶函数介绍Scala 混合了面向对象和函数式的特性，在函数式编程语言中，函数是“头等公民”，它和Int、String、Class等其他类型处于同等的地位，可以像其他类型的变量一样被传递和操作。也就是说, 如果一个函数的参数列表可以接收函数对象 , 那么这个函数就被称之为 高阶函数 (High-Order Function) .像我们之前学习过的map方法，它就可以接收一个函数，完成List的转换。常用的高阶函数有以下几类:作为值的函数匿名函数闭包柯里化等等2. 作为值的函数在S

1. 流程控制结构2. 顺序结构3. 选择结构4. 循环结构5. 案例

1. 数组2. 元组3. 列表4. 集5. 映射6. 迭代器(iterator)7. 函数式编程8. 案例

1. Actor介绍Scala中的Actor并发编程模型可以用来开发比Java线程效率更高的并发程序。我们学习Scala Actor的目的主要是为后续学习Akka做准备。1.1 Java并发编程的问题在Java并发编程中，每个对象都有一个逻辑监视器（monitor），可以用来控制对象的多线程访问。我们添加sychronized关键字来标记，需要进行同步加锁访问。这样，通过加锁的机制来确保同一时间只有一个线程访问共享数据。但这种方式存在资源争夺、以及死锁问题，程序越大问题越麻烦。线程死锁1.2

1. 隐式转换和隐式参数介绍2. 隐式转换3. 隐式参数4. 案例

1. 继承2. 类型判断3. 抽象类4. 匿名内部内5. 案例

1. 类和对象2. 定义和访问成员变量3. 下划线初始化成员变量4. 定义和访问成员变量5. 访问权限修饰符6. 类的构造器7. 单例对象8. main方法9. 伴生对象10. 案例

1. scala方法2. scala函数3. 案例

1. Iterable2. Seq3. Stack4. Queue5. Set6.Map7. 案例

1. 算术运算符2. 赋值运算符3. 关系运算符4. 逻辑运算符5. 位运算符6. 案例1.3 算术运算符算术运算符指的就是 用来进行算术操作

开始scala之途啦 ~~~开始之前我们还是要先知道，scala之父 – Martin·odersky（马丁·奥德斯基）哈哈哈 ~ 我很膜拜的一个大牛scala程序运行需要依赖于Java类库，那么必须要有Java运行环境，scala才能正确执行. 所以要编译运行scala程序，需要:JDK（JDK包含JVM）Scala编译器（Scala SDK）接下来，需要依次安装以下内容：安装JDK（这步骤就省略了）安装Scala SDK在IDEA中安装Scala插件1. 下载SKD安装并配

1. 集合2. Traversable3. 案例

1. 泛型2. 上下界3. 协变、逆变、非变4. 案例

1. 读取数据(按行、字符读取、读取单词和数字、从URL和其他数据源读取、读取二进制文件)2. 写入数据（往文件写数据、序列化和反序列化）3. 案例

1. 语言特点2. 输出语句3. scala常量4. scala变量5. 字符串6. 标识符7. 数据类型8. 类型转换9. 键盘录入10. 案例

1. 包2. 样例类3. 样例对象4. 案例

1. 特质入门2. 对象混入trait3. 使用trait实现适配器模式4. 使用trait实现模板方法模式5. 使用trait实现职责链模式6. trait的构造机制7. trait继承class8. 案例

1. Akka并发编程框架简介1.1 Akka概述Akka是一个用于构建高并发、分布式和可扩展的基于事件驱动的应用工具包。Akka是使用scala开发的库，同时可以使用scala和Java语言来开发基于Akka的应用程序。1.2 Akka特性提供基于异步非阻塞、高性能的事件驱动编程模型内置容错机制，允许 Actor在出错时进行恢复或者重置操作超级轻量级的事件处理（每 GB堆内存几百万Actor）使用 Akka可以在单机上构建高并发程序，也可以在网络中构建分布式程序。1.3 Akka通信

1. 递归2. 阶乘案例3. 斐波那契数列4. 打印目录文件

1. 搭建Kafka集群注: 搭建kafka之前,要有zookeeper集群支持将Kafka的安装包上传到虚拟机，并解压tar -zxvf kafka_2.12-2.4.1.tgz -C ../servers/cd kafka_2.12-2.4.1修改/export/servers/kafka_2.12-2.4.1/config目录下 server.properties# 指定broker的idbroker.id=0# 指定Kafka数据的位置log.dirs=/export/s

1. 生产者分区写入策略 轮询分区策略、 随机分区策略、按key分区分配策略、自定义分区策略2. 消费者组Rebalance机制 Rebalance再均衡、Rebalance的不良影响3. 消费者分区分配策略 Range范围分配策略、 RoundRobin轮询策略、 Stricky粘性分配策略4. 副本机制 producer的ACKs参数、acks配置为0、acks配置为1、acks配置为-1或all

1. Kafka-Eagle简介2. 安装Kafka-Eagle3. Kafka度量指标

1. 安装ES1.1 下载ES这里我使用的是6.8.0版本，建议使用JDK1.8及以上,将下载文件放在C:/opt下1.2 解压 启动1.3 测试访问地址如下: http://localhost:9200/能够看到如下界面，说明ElasticSearch安装启动成功2 安装head插件安装ElasticSearch的head插件，完成图形化界面的效果，完成索引数据的查看。采用本地安装方式进行head插件的安装。elasticsearch-5-*以上版本安装head需要安装node和g

1. 快速入门1.1 创建表语法在Phoenix中，我们可以使用类似于MySQL DDL的方式快速创建表。例如：CREATE TABLE IF NOT EXISTS 表名 ( ROWKEY名称 数据类型 PRIMARY KEY 列族名.列名1 数据类型 NOT NULL, 列族名.列名2 数据类型 NOT NULL, 列族名.列名3 数据类型);通过HBase的Web UI，我们可以看到Phoenix帮助我们自动在HBase中创建了一张名为 ORDER_DTL 的表格，可以看到里面添加

 Spark 框架编写的应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode) 和云服务(Cloud)，方便开发测试和生产部署。概述本地模式:Local Mode将Spark 应用程序中任务Task运行在一个本地JVM Process进程中，通常开发测试使用。本地模式LocalMode运行:启动一个JVM进程，里面运行Task任务，Task任务并行运行数目依据分 配CPU Core核数，在Spark应用中，一个Task任务运行，需要1Core CPU。1)

Structured Streaming可以使用deduplication对有无Watermark的流式数据进行去重操作对网站用户日志数据，按照userId和eventType去重统计

Structured Streaming、1. Structured Streaming不足2. Structured Streaming 概述3. 入门案例：WordCount

1. Kafka 数据消费2. Kafka 数据源3. Kafka 接收器 3.1 配置说明 3.2 实时数据ETL架构 3.3 模拟基站日志数据 3.4 实时增量ETL4. Kafka 特定配置

 在sparkSQL当中，spark为我们提供了两个操作sparkSQL的抽象，分别是DataFrame和DataSet。也就是说我们操作sparkSQL一般都是使用DataFrame或者DataSet来实现的，就类似于我们SparkCore模块当中，我们的抽象是RDD，我们使用SparkContext来实现操作RDD一样。 对于在版本上面，spark也有一些历史变动 RDD(Spark1.0) ==> DataFrame(1.3) ==> DataSet(1.6) 如果同样的.

1. RDD依赖2. DAG与Stage3. Spark Shuffle4. Job调度流程5. 基本概念6. 并行度7. 算子背后的逻辑8. wholetextFiles测试9. 附录：Maven依赖

1. Streaming 应用场景2. Lambda 架构3. Streaming 计算模式4. SparkStreaming 计算思想5. 什么是Spark Streaming6. 为什么要学习Spark Streaming7. SparkStreaming与Storm的对比

1. 获取数据2. 用户数据的EDA分析实践3. 业务数据的EDA分析实践4. 评分数据的EDA分析实践5. 数据的处理及转换分析实践6. 数值型和类别型数据的处理方案及实践7. 派生特征数据的处理方法及实践8. 文本特征处理方法及实践9. 正则化特征处理方法及实践10. TF-IDF和Word2Vec提取特征实践11. 总结

1. SparkMllib特征工程构建过程2. SparkMllib特征提取操作实践3. SparkMllib特征转换操作详解及实践4. SparkMllib特征选择操作及实践5. 项目案例-业务数据统计分析实践6. 项目案例-Iris鸢尾花数据分析案例实践7. 项目案例Homeprise数据分析实践

1. 设备监控数据2. 基于DataFrame分析3. 基于SQL分析

1. RDD的依赖1.1. 窄依赖1.2. 宽依赖1.3. 为什么要设计宽窄依赖1.4. Lineage(血统)2. RDD的缓存2.1 RDD的缓存方式2.2 Spark RDD Cache2.3 RDD Cache的使用2.4 cache和persist的区别3. RDD的CheckPoint

1. 什么是DAG2. DAG划分stage3. Shuffle过程4. SortShuffleManager基本介绍5. Shuffle的配置选项

1. 构建Maven Project创建Maven Project工程【bigdata-spark_2.11】，设置GAV三要素的值如下:创建Maven Module模块【spark-chapter01_2.11】添加依赖至POM文件中，内容如下:<!-- 指定仓库位置，依次为aliyun、cloudera和jboss仓库 --> <repositories><repository><id>aliyun</id><url&gt

1. java实现/** * java代码实现spark的WordCount */public class WordCountJava { public static void main(String[] args) { //todo:1、构建sparkconf,设置配置信息 SparkConf sparkConf = new SparkConf().setAppName("WordCount_Java").setMaster("local[2]");

Spark Application提交运行时部署模式Deploy Mode，==表示的是Driver Program运行的地 方，要么是提交应用的Client:client，要么是集群中从节点(Standalone:Worker，YARN: NodeManager):cluster。--deploy-mode DEPLOY_MODEWhether to launch the driver program locally ("client") or on one of the worker machine