Spark方法梳理总结

目录

一、Scala基础

1、定义函数识别号码类型

1、了解数据类型

2、定义与使用常量、变量

2、使用运算符     

 3、定义与使用数组

4、定义与使用函数

1．匿名函数

 2．高阶函数—函数作为参数

3．高阶函数—函数作为返回值

        4．函数柯里化 

5、定义与使用列表

1、定义列表

​2、列表操作常用方法

3、合并列表

 6、定义与使用集合

7、定义与使用映射

8、定义与使用元组 

9、 用函数组合器

1、map()方法

2、foreach()方法

3、filter()方法

4、flatten()方法

5、flatMap()方法

6、groupBy()方法

10、定义Scala类

二、Spark编程基础

1、创建RDD

2、从内存中读取数据创建RDD

1、parallelize()

2、 makeRDD()

3、 从外部存储系统中读取数据创建RDD

4、转换操作

1、使用map()方法转换数据

2、使用sortBy()方法进行排序

3、使用collect()方法查询数据

4、使用flatMap()方法转换数据

                5、使用take()方法查询某几个值

6、使用union()方法合并多个RDD

7、使用filter()方法进行过滤

8、使用distinct()方法进行去重

5、使用简单的集合操作

1、intersection()方法

2、subtract()方法

3、 cartesian()方法

6、了解键值对RDD

1、使用键值对RDD的keys和values方法

2、 使用键值对RDD的reduceByKey()方法

 3、使用键值对RDD的reduceByKey()方法

 7、连接操作

1、使用join()方法连接两个RDD

2、使用zip()方法组合两个RDD

3、使用combineByKey()方法合并相同键的值

4、使用lookup()方法查找指定键的值

三、Spark SQL ---- 结构化数据文件处理

1、了解Spark SQL基本概念

2、掌握DataFrame基本操作

 1、创建DataFrame对象

2、查看  DataFrame数据

3、掌握DataFrame 查询操作

4、orderBy()/sort()方法

5、groupBy()方法

6、join()方法

4、掌握DataFrame输出操作

---

一、Scala基础

1、定义函数识别号码类型

1、了解数据类型

Scala常用数据类型：

数据类型c	描述
Int	32位有符号补码整数。数值区间为−32768～32767
Float	32位IEEE754（IEEE浮点数算术标准）单精度浮点数
Double	64位IEEE754（IEEE浮点数算术标准）双精度浮点数
String	字符序列，即字符串
Boolean	布尔值，true或false
Unit	表示无值，作用与Java中的void一样，是不返回任何结果的方法的结果类型。Unit只有一个实例值，写成()

2、定义与使用常量、变量

（1）、常量

在程序运行过程中值不会发生变化的量为常量或值，常量通过val关键字定义，常量一旦定义就不可更改，即不能对常量进行重新计算或重新赋值。定义一个常量的语法格式如下。

val name: type = initialization

val 关键字后以此跟着常量名称、冒号“：”、数据类型、赋值运算符“=”和初始值。一旦初始化一个常量，就不能对其修改。

（2）、变量

变量是在程序运行过程中值可能发生改变的量。变量使用关键字var定义。与常量不同的是，变量定义之后可以重新被赋值。定义一个变量的语法格式如下。

var name: type = initialization

变量在重新赋值时，只能将同类型的值附给变量。

2、使用运算符     

scala是一种面向对象的函数式编程语言，内置丰富的运算符，包括算术运算符、关系运算符、逻辑运算符等，如下表所示：

	运算符	意义	示例
算术 运算符	+	两个数相加	1+2或1.+(2)
	−	两个数相减	1−2或1. − (2)
	*	两个数相乘	1*2或1.*(2)
	/	两个数相除	1/2或1./(2)
	%	两个数取余	1%2或1.%(2)
关系 运算符	>	判断左值是否大于右值，是则结果为真，否则结果为假	1>2或1.>(2)
	<	判断左值是否小于右值，是则结果为真，否则结果为假	1<2或1.<(2)
	>=	判断左值是否大于等于右值，是则结果为真，否则结果为假	1>=2或1.>=(2)
	<=	判断左值是否小于等于右值，是则结果为真，否则结果为假	1<=2或1.<=(2)
	==	判断左值是否等于右值，是则结果为真，否则结果为假	1==2或1.==(2)
	!=	判断左值是否不等于右值，是则结果为真，否则结果为假	1!=2或1.!=(2)

	运算符	意义	示例
逻辑 运算符	&&	若两个条件成立则结果为真，否则结果为假	1>2 && 2>3或1>2.&&(2>3)
	||	若两个条件有一个成立则结果为真，否则结果为假	1>2 || 2>3或1>2.||(2>3)
	！	对当前结果取反	!(1>2)
位 运算符	&	参加运算的两个数据，按二进制位进行&运算，两位同时结果为1结果才为1，否则为0	0 & 1或0.&(1)
	|	参加运算的两个数据，按二进制位进行|运算，两位只要有一个为1则结果为1	0 | 1或0.|(1)
	^	参加运算的两个数据，按二进制位进行^运算，两位不同时结果为1，相同时结果为0	0^1或0.^(1)

	运算符	意义	示例
赋值 运算符	=	将右侧的值赋于左侧	val a = 2
	+=	执行加法后再赋值左侧	a += 2
	−=	执行减法后再赋值左侧	a-= 1
	*=	执行乘法后再赋值左侧	a *= 2
	/=	执行除法后再赋值左侧	a /= 3