Spark大数据处理讲课笔记1.6 掌握Scala数据结构

1、数组定义

（1）定义数组时初始化数据

• 数组的静态初始化

• 自动推断数组类型

手动指定数据类型

（2）定义时指定数组长度，后赋值

• 先定义，后赋值，这叫数组的动态初始化

避免数组下标越界错误（数据溢出：Data Overflow）

2、数组遍历

• 定义数组arr（自动推断类型，静态初始化）

• 可以使用for循环对数组进行遍历，输出数组所有的元素

（1）传统for循环方式

• 通过数组下标来遍历数组元素

通过arr.length - 1 to 0 by -1实现反向遍历

1. 利用foreach算子遍历数组

课堂练习：数组求和

• 采用遍历算子

课堂练习：数组求和

• 采用遍历算子

采用增强for循环

课堂练习：采用传统for循环来求和

3、常用方法

• Scala对数组提供了很多常用的方法，使用起来非常方便

• 定义数组arr（通过数组类的构造方法来初始化数组，静态初始化）

对数组arr也可以采用先定义后赋值的方式（动态初始化）

（1）求数组中数值总和

• 调用sum方法

其实，还可以调用归并算子来求和

（2）求数组中的最大值

• 调用max方法，也可以自己编写代码求最大值

（3）求数组中的最小值

• 调用min方法，也可以自己编写代码求最小值

（4）对数组实现升序

• 调用sorted方法

（5）对数组实现降序

• 先调用sorted方法升序，再调用reverse方法反序，就可以实现数组降序

课堂练习：数组查询

• 定义一个整型数组，输入一个整数，判断该整数是否在数组里，如果在数组里，给出其位置，否则提示用户该整数不在数组里。

• 在net.huawei.day03包里创建Exercise01对象

用Java语言按同样的思路来编写程序

1、数组定义

• 变长数组使用类scala.collection.mutable.ArrayBuffer进行定义

• 定义一个变长Int类型数组arr，利用+=运算符、append方法添加一个数组元素（注意是追加元素），还可以利用appendAll方法添加一个数组（多个元素）

2、遍历数组

• 遍历可变数组arr，跟遍历定长数组没有不同

3、移除元素

• 利用remove方法可以按下标删除数组元素，当然可能出现下标越界异常

利用-=运算符按值直接删除数组元素

• 数组中有多个值为2的元素，则从前向后删除第一个匹配的元素，本次删除，第一个2被删除了，但是第二2还依然存在。

• 下面继续删除2（删除完2之后，继续删除，不会报错，正所谓以不变应万变）

• 使用remove()方法还可以在数组的固定位置移除指定数量的元素

• 从数组arr的下标为2的位置开始移除3个元素

如果移除起始位置 + 删除数量 > 数组长度，那么就会报错

4、数组合并

Scala支持使用++=符号将两个变长数组进行合并，其实还可以用appendAll方法来拼接两个数组

定义三个变长数组arr1、arr2与arr3，arr1采用++=合并arr2得到result，其实result与合并后的arr1是相等的，然后arr1再利用appendAll方法合并arr3，结果是三个数组的9个元素全部合并进数组arr1里

5、插入元素

先前我们学习了如何添加元素：+=运算符添加一个元素、append方法添加一个元素、appendAll方法添加多个元素

使用insert方法可以在数组指定位置插入一个元素，做法跟Python完全一样，第一个参数是下标(index)，第二个参数是要插入的数据(value)

在数组arr1的下标为2的位置插入一个元素666

注意：一次插入多个元素是要报错的，插入一个数组还是要报错

如果插入的位置参数超出数组的长度，要报错

如果插入的位置参数等于数组长度，那么就相当于在末尾追加新元素

课堂练习：产生随机整数构成的变长数组

产生一个变长数组，包含10个[a, b] （a∈ N \in N∈N, b∈ N \in N∈N, a < \lt< b）之间的随机整数

1、创建不可变列表

• 创建列表有静态初始化和动态初始化两种方式

• 创建一个Int类型的列表- list1

创建一个混合类型的列表 - list2，元素类型被系统统一为Any

创建一个空列表，后面再添加元素

2、给列表添加元素

（1）在列表头添加元素

• 利用.+:在列表头添加新元素（冒号:靠近谁，谁就在前面）

• 在列表list1的头部追加一个元素0，生成一个新列表 list3，列表list1没有变的

利用::在列表头添加新元素

（2）在列表尾添加元素

• 利用.:+在列表尾添加新元素

• 在列表list1的尾部追加一个元素100，生成一个新列表 list4，列表list1没有变的

既然0 :: list1是在list1前面添加新元素，我们自然会猜想list1 :: 100是在list1后面添加新元素，验证一下我们的猜想。

列表后的::运算符要连接一个列表

3、列表合并操作

• List也支持合并操作

• 创建两个列表list1和list2

list1与list2合并生成列表list3，list1元素在前，list2元素在后

用方法调用来实现list1与list2合并生成列表list4

• 结论：冒号:靠近哪个列表，那个列表就位于合并列表之前

• 思考题：数组可以用append来追加元素，定长列表可以吗？

4、二维列表

• 列表的列表称为二维列表，其实就是嵌套的列表

• 可以利用二维列表来对应MySQL数据表的多条记录

• 定义二维列表students， 让scala自动推断students常量的类型

遍历二维列表students

（二）可变列表

1、创建可变列表

• 可变List需要使用scala.collection.mutable.ListBuffer类

• 创建列表时初始化数据（静态初始化）

先创建空列表，然后利用+=运算符添加数据（动态初始化）

思考题：可用append方法给可变列表添加新元素吗？

2、列表合并

• 将列表list1与列表list2合并，list1在前，list2在后

将列表list1与列表list2合并，list2在前，list1在后

3、列表排序

• 列表升序和降序（降序 = 升序 + 反序）

4、列表总和、平均值、最值

• 计算总和、最值可以直接调用列表方法完成，平均值得自己计算

5、添加新元素

• 添加新元素有两种方法：在末尾添加新元素用append方法；在中间插入新元素用insert方法

• 调用可变列表的insert(pos, value)，在pos位置插入新元素value

特殊情况，在列表头插入新元素，pos = 0

特殊情况，在列表尾追加新元素，pos = list.length，此时相当于执行append方法的效果

6、移除列表元素

• 调用可变列表的remove(pos, count)方法，从pos位置开始移除count个列表元素

• 任务：移除list列表中的第6、7、8个元素

三、映射 (Map)

• Scala中的Map也分可变Map和不可变Map，默认为不可变Map。

（一）不可变映射

1、创建不可变映射

• 创建不可变映射mp，用键->值的形式

创建不可变映射mp，用(键, 值)的形式

注意：Map是特质（Scala里的trait，相当于Java里的interface），不能实例化

2、遍历不可变映射

• 利用for循环来实现遍历

调用mp.keys的foreach算子实现遍历

能否按键修改映射的值？

（二）可变映射

• 创建可变Map需要引入类scala.collection.mutable.Map，创建方式与上述不可变Map相同。

1、创建可变映射

• 创建可变映射mp

2、修改可变映射

• 将键02的值改为man（键02存在，执行修改操作）

将键05的值改为belle（键05存在，执行添加操作）

3、查询可变映射

• 查询键02的值，如果没有查到，则返回键02不存在

查询键08的值，如果没有查到，则返回键08不存在

4、添加元素

• 查看可变映射当前值