
scala
Jiede1
专注与数据挖掘和人工智能
Github: https://github.com/Jiede1
展开
-
Spark DataFrame算子使用与窗口函数
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...原创 2020-05-05 14:16:46 · 3589 阅读 · 0 评论 -
Spark内核剖析4---Master主备切换机制
Spark Master主备切换主要有两种机制,之中是基于文件系统,一种是基于Zookeeper.基于文件系统的主备切换机制需要在Active Master挂掉后手动切换到Standby Master上,而基于Zookeeper的主备切换机制可以实现自动切换Master。切换流程图流程说明:Standby Master模式使用持久化引擎读取持久化的storeApps、storeD...转载 2020-02-29 15:45:47 · 229 阅读 · 0 评论 -
Scala的implicit
scala语言是纯粹面向对象的语言,对象化的程度比Java更深,其中有个特质是比较特别的–implicit,用于隐式转换和隐式参数。下面为其介绍。隐式参数:把一些变量声明为隐式参数,把一些方法的参数声明为可以支持隐式参数的,当调用方法时,如果没有传递该参数,那么可以去使用隐式参数。隐式转换:首先提供一些类型转换的能力(通过隐式类和隐式方法),然后在调用某些方法时,当某些对象的类型不...转载 2019-12-06 11:31:24 · 189 阅读 · 0 评论