数据开发探索者

Spark 之 WordCount 一、14种wordcount实现方式 //数据准备及环境连接： val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("map") val sc = new SparkContext(sparkConf) val rdd1: RDD[String] = sc.makeRDD(List("hadoop scala", "spark spark hel

分布式计算应用 1.需求 -- 一个发送端向多个接收端发送数据，接收端接收数据以后并进行处理，最后将数据返回给发送端，发送端将计算结果收回并打印在控制台。 2.需求分析 2.1 搭建模型 -- 一个发送端连接多个接收端，然后分别进行发送数据，此时存在的问题： -- 当服务器接收到数据以后，计算需要很长一段时间时，如果客户端一直等着服务器返回数据，这是不合理的。 2.2 优化1 -- 客户端发送数据给服务端以后，断开连接，等服务器计算数据完成以后，服务器去连接客户端，将计算完成以后的结果返回 2

Scala总结终结篇 接Scala总结下篇 八、集合 8.13 自定义排序 SortWith --自定义排序： 1.方法：sortWith(形参)，返回值为经过自定义排序以后的集合； 2.形参：是一个函数， 函数形参为：集合中的两个元素， 参数1：第一个元素left； 参数2：第二个元素right； 函数返回值为：boolean类型，true和false 3.排序规则：

Scala总结之下篇1 接scala总结之中篇 八、 集合 (重点 ) 8.1 简介 1. Scala集合分为： Seq ： 序列 Set ： 集合 Map ： 映射 2. 所有的集合都扩展了自身的Iterable特质 3. scala提供了可变和不可变集合 可变集合 : scala.collection.mutable 不可变集合： scala.collection.immutable 4. 不可变并不是变量本身的值不可变，而是变量指向的那个内存地址不可变

Scala总结（中篇） 接Scala总结（上篇） 补充和复习 0.1 练习 题目1：如果想把一个任意的数字A通过转换后得到它的2倍，那么这个转换的函数应该如何声明和使用 def fun1(A: Double) = { 2 * A } val result1 = fun1(10) println(result1) //20.0 题目2：如果上一题想将数字A转换为任意数据B（不局限为数字），转换规则自己定义，该如何声明 //定义函数，转换的规则通过匿名函数

Scala 总结(上篇) 一、java知识点重新认识 1.1 静态代码块 -- 问题：静态代码块一定会执行吗？ -- 回答：不一定，那如何理解呢？ 之前的理解是：当一个类被加载以后，则这个类中静态代码块一定会执行，则是如何理解类被加载这件事情呢？ 通过如下的例子发现，加了final属性的类，通过反编译发现，该属性的赋值操作不是在静态代码中执行，导致静态代码块没有被加载。 --原因是： 调用代码1加载过程：加载age属性-->加载静态代码块-->在静态代码块中执行赋值age=20操作 调用代