spark学习系列
关注
分享
扫一扫
Mbappe
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark学习（2）——Scala安装及Scala与Java的关系
Scala安装从Scala官方网站下载：http://www.scala-lang.org/, windows版本安装包是scala-2.12.6.msi.（这个是目前最新版本）使用下载下来的安装包安装Scala在PATH环境变量中，配置SCALA_HOME/bin 目录。具体配置步骤类似于jdk的配置。配置好环境变量后，在windows命令行内可直接键入scala，打开scala命...原创 2018-07-16 10:30:29 · 1570 阅读 · 0 评论 -
Spark学习（9）——scala面向对象编程（对象）
objectObject,相当于class的单个实例，通常在里面放一些静态的field或者method，第一次调用object方法时，就会执行object的constructor，也就是object内部不在method的代码，但是object不能定义接收参数的constructor，注意，object的constructor只会在其第一次被调用时执行一次，以后再次调用就不会再次执行constr...原创 2018-08-02 23:48:15 · 524 阅读 · 0 评论 -
Spark学习（8）——scala面向对象编程（类）
定义一个简单的类定义类，包含field及方法创建类的对象，并调用其方法，调用getName，如果定义方法时不带括号，则调用方法时也不能带括号getter和setter方法定义不带private的var field，此时scala生成的面向JVM的类时，会定义为private的name字段，并提供Public的getter和setter方法而如果使用private修饰...原创 2018-08-02 23:40:44 · 473 阅读 · 0 评论 -
Spark学习（13）——scala函数式编程（集合操作）
scala的集合体系结构Scala中的集合体系主要包括：Iterable、Seq、Set、Map。其中Iterable是所有集合trait的根trait。这个结构与Java的集合体系非常相似。Scala中的集合是分成可变和不可变两类集合的，其中可变集合就是说，集合的元素可以动态修改，而不可变集合的元素在初始化之后，就无法修改了，分别对应scala.collection.mutable和sc...原创 2018-08-11 22:55:13 · 374 阅读 · 0 评论 -
Spark学习（12）——scala函数式编程（基本语法）
基本概述Scala中的函数是Java中完全没有的概念，因为Java是完全面向对象的编程语言，没有任何面向过程编程语言的特性，因此Java中的一等公民是类和对象，而且只有方法的概念，即寄存和依赖于类和对象中的方法。Java中的方法是绝对不可能脱离类和对象独立存在的。而scala是一门既面向对象，又面向过程的语言。因此在scala中有非常好的面向对象的特性，可以使用scala来基于面向对象的思...原创 2018-08-11 22:47:32 · 500 阅读 · 0 评论 -
Spark学习(10)——scala面向对象编程（继承）
extendsScala中，让子类继承父类，与Java一样，也是=使用extends关键字继承就代表子类可以从父类继承父类的field和method，然后子类可以在自己内部放入父类所没有，子类特有的field和method，使用继承可以有效复用代码子类可以覆盖父类的field和method，但是如果父类用final修饰，field和method用final修饰，则该类时无法被继承的，fie...原创 2018-08-06 23:56:00 · 420 阅读 · 0 评论 -
Spark学习（7）——scala的Map与Tuple
创建Map创建一个不可变的Map，immutable不可变的，默认的Map是immutable根据键名获取map的值创建一个可变的Map，可以改变某个值使用另外一种方式定义Map元素创建一个空的HashMap访问Map的元素获取指定key对应的value，如果key不存在，会报错获取不存在的key使用contains函数检查key是否...原创 2018-07-31 18:35:08 · 1863 阅读 · 0 评论 -
Spark学习(6)——scala数组操作
Array在scala中，Array代表的含义与Java类似，也是长度不可变的数组，此外由于Java和scala都是运行在JVM中，双方可以互相调用，因此scala的底层实际上是Java数组，例如字符串的数组在底层实际上就是Java的 String [] 数组整数数组在底层实际上是Java的int []数组初始化后，长度就固定下来了，而且元素全部根据其类型初始化可以...原创 2018-07-26 09:12:49 · 5220 阅读 · 1 评论 -
Spark学习（1）——初识spark
Spark是什么？ Spark是一种通用的大数据计算框架，就像传统的大数据技术Hadoop的MapReduce，Hive以及Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架；比如Spark Core勇于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib 用于机器学习，Spark GraphX用于...原创 2018-07-14 22:00:56 · 1379 阅读 · 0 评论 -
Spark学习（5）——scala函数入门
定义函数在scala中定义函数时，需要定义函数的函数名、参数、函数体。例如：def sayHello(name : String,age: Int) ={If(age >18){print(“you are a big boy:”+name); age}else{ print(“you are a little boy:”+name);age}}Scal...原创 2018-07-23 23:31:57 · 529 阅读 · 0 评论 -
Spark学习（4）——scala条件控制与循环
if表达式If表达式的定义：在scala中，if表达式是有值得，就是if或者else中最后一行语句返回的值例如：val age =30；if(age>18) 1 else 0运行结果：将if表达式赋值给一个变量：val result = if(age>18) 1 else 0If表达式的类型推断：由于if表达式是有值的，而if和else子句的值类型可能不同，此...原创 2018-07-23 23:23:11 · 1725 阅读 · 0 评论 -
Spark学习（3）——scala基础语法
scala概述scala是一门多范式编程语言，集成了面向对象编程和函数式编程等多种特性。scala运行在虚拟机上，并兼容现有的Java程序。 Scala源代码被编译成java字节码，所以运行在JVM上，并可以调用现有的Java类库scala解释器的使用1,REPL：Read(取值) ->Evaluation(求值)->Print(打印)->Loop(循环)...原创 2018-07-16 23:24:12 · 3156 阅读 · 0 评论 -
Spark学习(11)——scala面向对象编程（trait）
trait基础知识-将trait作为接口使用Scala中的trait是一种特殊的概念，首先我们可以将trait作为接口来使用，此时的trait就与Java中的接口非常类似，在Trait中可以定义抽象方法，就与抽象类中的抽象方法一样，只要不给出方法的具体实现即可，类可以使用extends关键字继承Trait，注意，这里不是implement，而是extends，在scala中没有implemen...原创 2018-08-07 23:59:33 · 309 阅读 · 0 评论