
Spark
文章平均质量分 93
大数据Spark学习,Scala学习
Maverick_曲流觞
这个作者很懒,什么都没留下…
展开
-
Spark-core(内核原理):你知道它是如何运行的吗?
Spark-core内核原理,Spark scheduler,Spark scheduler类型,Spark scheduler运行流程,RDD依赖/容错机制,宽依赖和窄依赖,为什么要区分宽窄依赖,DAG和Stage,Spark DAG的开始和结束,为什么需要划分Stage?Spark中的基本名词,Job调度流程及Web----UI界面查看原创 2023-04-24 22:35:17 · 432 阅读 · 0 评论 -
Spark----RDD(弹性分布式数据集)
RDD,RDD是什么?为么需要RDD?,RDD的五大属性,WordCount中的RDD的五大属性,如何创建RDD?RDD的操作,基本算子/操作/方法/API,分区操作,重分区操作,聚合操作,四个有key函数的`区别`,关联操作,排序操作,RDD的缓存/持久化,cache和persist,checkpoint检查点,共享变量,Shuffle本质原创 2023-04-20 22:00:00 · 2500 阅读 · 0 评论 -
Spark on Yarn(client和cluster模式,spark-shell 和 spark-submit 的区别,WorldCount实现与理解)
Spark on Yarn,两种模式client,cluster,spark-shell 和 spark-submit 的区别的理解WorldCount实现,IDEA本地实现,On Yarn 实现,WorldCount图解原创 2023-04-17 23:14:59 · 1585 阅读 · 2 评论 -
Akka定时任务schedule()方法
Akka定时任务schedule()方法,什么是Akka定时任务schedule()方法?如何在actor外部获取Scheduler对象,为什么需要提供一个隐式的ExecutionContext对象,用于执行定时任务?如何在actor内部获取Scheduler对象,schedule()方法的格式,Akka定时任务schedule()方法有哪些类型的延迟?固定延迟,固定频率,Duration类原创 2023-04-11 19:03:38 · 1083 阅读 · 0 评论 -
利用akka模拟Spark的Master与Worker通信
利用akka模拟Spark的Master与Worker通信,Master与Worker通信过程,Master实现,Worker实现原创 2023-04-10 18:47:28 · 765 阅读 · 4 评论 -
Scala框架Akka学习
Scala框架Akka,Akka与Scala.actors.Actor的关系,如何创建Actor,Actor中一些重要的生命周期方法,akka的架构原理,介绍ActorSystem,actorOf方法,props,创建Actor的注意事项,Actor的path路径,Akka发送消息/接收消息,!发送异步消息,没有返回值,!?发送同步消息,等待返回值,转发收到的消息给另一个Actor,保持原始发送者不变,Actor定时任务,schedule()方法的格式,利用Akka实现简单多机交互原创 2023-04-09 14:54:03 · 1050 阅读 · 2 评论 -
Scala集合的几个主要类型
Iterable,iterator方法和foreach方法,grouped()方法,zipWithIndex方法,sameElements()方法,Seq,indexOf(), lastIndexOf(), indexWhere(), lastIndexWhere(),indexOfSlice()方法,updated(), patch()方法,Stack,Queue,Set,Map,栈,迭代器,队列,序列,映射原创 2023-04-05 17:10:06 · 813 阅读 · 8 评论 -
Scala集合
scala集合,Traversable,transpose()方法转置集合,transpose()方法和zip()方法的区别,concat()方法拼接集合,collect()方法,累积元素的方法scan()方法,获取集合的指定元素,headOption方法,lastOption方法,find方法,判断元素是否合法,聚合函数,集合类型转换,填充元素,scala中包含相同元素的集合,scala中包含重复计算结果的集合,scala中包含一定范围内的整数的集合原创 2023-04-05 10:13:07 · 503 阅读 · 1 评论 -
Scala泛型(泛型方法,泛型类,泛型特质,上下界,协变、逆变、非变)
Scala泛型,Scala泛型方法,Scala泛型类,Scala泛型特质,Scala上下界,Scala协变,Scala逆变,Scala非变原创 2023-04-03 00:15:00 · 795 阅读 · 2 评论 -
Scala隐式转换和隐式参数
Scala隐式转换和隐式参数,隐式类,隐式转换和隐式参数的导入,使用时机原创 2023-04-02 11:57:40 · 579 阅读 · 1 评论 -
Scala递归函数
Scala递归函数,(😀)为什么要进行尾递归优化原创 2023-04-01 06:00:00 · 471 阅读 · 1 评论 -
Scala编程语言中的函数式编程特性
Scala 高阶函数介绍,Scala作为值的函数,Scala匿名函数,Scala闭包,Scala柯里化,Scala控制抽象原创 2023-03-31 15:49:41 · 314 阅读 · 0 评论 -
Scala文件操作
Scala按行读取,Scala使用source.buffered方法按字符读取文件,Scala使用java.io.PrintWriter类,使用java.io.FileWriter类,使用java.io.FileOutputStream类, Scala序列化和反序列化原创 2023-03-30 13:59:16 · 2491 阅读 · 2 评论 -
Scala异常处理
Scala异常处理,Scala中输出异常结果的方法,Scala自定义异常原创 2023-03-29 16:34:00 · 678 阅读 · 4 评论 -
Scala编程语言中的高级特性
Scala模式匹配,ScalaOption类型,Scala偏函数,Scala正则表达式,Scala提取器(Extractor)原创 2023-03-29 16:07:03 · 530 阅读 · 0 评论 -
Scala函数式编程
Scala函数式编程, Scala遍历(foreach),Scala映射(map),Scala扁平化映射(flatMap),Scala过滤(filter),Scala排序(Scala默认排序(sorted),Scala指定字段排序(sortBy),Scala自定义排序(sortWith)),Scala分组(groupBy),Scala聚合操作(Scala聚合(reduce),Scala折叠(fold))原创 2023-03-28 23:00:16 · 765 阅读 · 2 评论 -
Scala的数组,元组,列表,集,映射(Map),迭代器(iterator)
Scala的数组,Scala的元组,Scala的列表,Scala的集,Scala的映射(Map),Scala的迭代器(iterator)原创 2023-03-28 13:33:44 · 1154 阅读 · 0 评论 -
Scala包,样例类,样例对象
Scala包,Scala样例类,Scala样例对象原创 2023-03-27 17:12:54 · 573 阅读 · 0 评论 -
Scala的trait特质
Scala的trait特质,Scala对象混入trait,Scala使用trait实现适配器模式,Scala使用trait实现模板方法模式,Scala使用trait实现职责链模式,Scalatrait的构造机制,Scalatrait继承class原创 2023-03-26 23:45:34 · 143 阅读 · 0 评论 -
Scala继承,抽象类,匿名内部类
Scala继承,Scala类型判断,Scala抽象类,Scala匿名内部类原创 2023-03-25 23:52:43 · 511 阅读 · 0 评论 -
Scala类与对象
Scala类和对象,Scala定义和访问成员变量,Scala 使用下划线初始化成员变量,Scala定义和访问成员方法,Scala访问权限修饰符,Scala类的构造器,Scala单例对象,Scala的main方法,Scala伴生对象,Scala工具类原创 2023-03-25 14:06:24 · 1336 阅读 · 0 评论 -
Scala基础学习
Scala输出语句和分号,Scala中的常量,Scala中的变量,Scala字符串,Scala数据类型,Scala类型转换,Scala键盘录入,Scala运算符的分类,Scala流程控制结构,Scala方法与函数原创 2023-03-25 11:07:01 · 1511 阅读 · 0 评论 -
Scala简介
Scala简介Scala程序和Java程序对比原创 2023-03-24 23:11:16 · 274 阅读 · 0 评论