wlk_328909605的博客

闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。scala> def m1(x:Int) = x+y<console>:11: error: not found: value y //这里没有定义y的值 def m1(x:Int) = x+y ...

这里做一个简单的案例，将字符串转指定大小写。比如将Hbase转换成HBASE或者hbase。 实现流程：将字符串添加到字符数组中，利用装饰模式，加强list，调用接口的转换方法，最终的转换规则由自己指定。硬编码较少。主方法代码：package day02;/** * java 的scala函数式编程 */import java.util.ArrayList;import ja...

**概念** for循环中的yield会将for循环中的值保存下来，保存到一个集合中，在循环结束的时候会将集合全部输出，如果被循环的是map，则输出的就是map。如果被循环的是list，则输出的就是list，以此类推。使用println进行输出scala> for (i <- 1 to 5) | println (i)12345使用y...

所谓隐式转换函数指的是implicit关键字修饰的且只有一个参数的函数。 例如：inplicit def int2String(n:Int):String = (n.toString)上案例：我们把Fruit对象转换成了Monkey对象//Scala的隐式转换//水果class Fruit(name:String){ def getFruitName():String ...

重点比较reduceByKey和groupByKey:相同点：1,都作用于 RDD[K,V]2，都是根据key来分组聚合3， 默认，分区的数量都是不变的，但是都可以通过参数来指定分区数量不同点：1， groupByKey默认没有聚合函数，得到的返回值类型是RDD[ k,Iterable[V]]2， reduceByKey 必须传聚合函数 得到的返回值类型 RDD[(K,聚合...

第三步优化：假如数据量非常大的话，toList方法会产生内存溢出，使用treeSet方法可以解决treeset既可以实现排序，还能有效的控制输出的大小。package day02import java.net.URLimport org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, Spark...

数据采集阶段通过自定义source，将产生的日志从服务器上缓存到kafka中，并记录自定义的Offset。部分数据：{"bussinessRst":"0000","channelCode":"0705","chargefee":"10000","clientIp":"222.214.151.245","gateway_id"

业务概况通过实时的分析用户的流量数据，获取用户动态的充值的订单量、充值全过程的平均时长、以及某段时间充值的成功率等。首先解析数据格式，从标签体系库中截取出需要的字段值，使用SparkStreaming的对抽取出来的属性加以处理。1）统计每个市的充值失败的次数，并以地图的方式显示数据的分布情况。2）以市为维度，统计订单量排名前5的市，并统计每个市的订单的成功率。3）实时统计全省的每分钟的充值...