Spark学习（7）——scala的Map与Tuple

最新推荐文章于 2023-06-15 18:07:13 发布
原创 最新推荐文章于 2023-06-15 18:07:13 发布 · 1.8k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scala的Map与Tuple

本文详细介绍了如何在编程中创建和操作Map，包括创建不可变和可变Map，通过键获取值，更新、增加和删除元素，以及遍历Map的方法。同时，还介绍了SortedMap和LinkedHashMap的特性和使用场景。

创建Map

创建一个不可变的Map，immutable不可变的，默认的Map是immutable

根据键名获取map的值

创建一个可变的Map，可以改变某个值

使用另外一种方式定义Map元素

创建一个空的HashMap

访问Map的元素

获取指定key对应的value，如果key不存在，会报错

获取不存在的key

使用contains函数检查key是否存在

getOrElse函数，可以代替上述的比较复杂的判断

修改Map的元素

更新Map的元素

增加多个元素

移除元素

更新不可变的Map，其实本身不可变，只是赋给了一个新的Map

移除不可变map的元素，也是赋给一个新的map

遍历Map

遍历map的entrySet，使用增强for循环

遍历map的key

遍历map的value

生成新的map，反转key和value

SortedMap和LinkedHashMap

SortedMap可以自动对Map的key的排序，自动key按字母顺序排列

LinkedHashMap 可以记住插入entry的顺序，按照你插入的顺序

Map的元素类型Tuple

简单tuple，就是一组值，不一定是两个，可以是三个，四个。。。。

访问Tuple

Zip操作，将两个数组用zip操作合并成一个数组，数组内是一个一个的Tuple

Spark零基础入门实战（二）Scala集合之List、Map
分享大数据、人工智能领域原创文章
12-08 1385
Scala中的List分为可变List和不可变List，默认使用的List为不可变List。不可变List也可以增加元素，但实际上生成了一个新的List，原List不变。例如，创建一个Int类型的List，名为nums，代码如下： 在该List的头部追加一个元素1，生成一个新的List： 在该List的尾部追加一个元素5，生成一个新的List： List也支持合并操作，例如，将两个List合并为一个新的List，代码如下： 输出结果如下： 此外，常用的还有二维List： 2. 可变L
Spark零基础入门实战（二）Scala集合之元组、Set
分享大数据、人工智能领域原创文章
12-08 855
元组是一个可以存放不同类型对象的集合，元组中的元素不可以修改。例如，定义一个元组t： 也可以使用以下方式定义元组，其中Tuple3是一个元组类，代表元组的长度为3： 目前，Scala 支持的元组最大长度为22，即可以使用Tuple1到Tuple22。元组的实际类型取决于元素数量和元素的类型。例如，(20,"shanghai")的类型是Tuple2[Int,String]，(10,20,"beijing","shanghai","guangzhou")的类型是Tuple5[Int,Int,String
【spark使用】3.转换算子
qq_22849251的博客
03-10 1863
map String转为Tuple2<String, Integer> public class test { public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("jiangtao_demo").setMaster("local"); JavaSparkContext jsc = new JavaSparkContext(conf);
Spark大数据处理讲课笔记1.6 掌握Scala数据结构
weixin_63561044的博客
06-15 329
Set集合分为可变集合和不可变集合，默认情况下，Scala使用的是不可变集合，如果要使用可变集合，就需要引用scala.collection.mutable.Set类。Scala中的列表分为可变列表和不可变列表，默认使用的列表为不可变列表。创建整型可变空列表，添加1、3、5、7四个元素，在5和7之间插入元素6，移除开头的1、3两个元素，统计列表元素总和、最大值和最小值，最后将列表降序输出。创建整型列表，包含12、5、8、12、9、7、45、16、78、10、3，分别输出奇数列表和偶数列表。
Scala Spark Map DataFrame Missing Paramenter Type
Gamedev
01-28 756
在学习sparkSQL时，按照书中的例子敲了代码，但是报出map row:Missing Paramenter Type的错误，意思就是没有指定row变量的类型。 当我在我的代码的val hiveCtx = new HiveContext(sc)的下一行，添加import hiveCtx.implicits._代码段之后，错误被解除了。因为这段代码会将RDD隐式转换为DataFrame 完整代...
一步步学spark之一scala的map操作1.9
Angel、骷髅博客
05-23 1032
一步步学spark之一scala的map操作 1.9 scala的map操作语法 图中注意可变集合与不可变集合的声明   scala中map集合的遍历方法 只遍历key  不遍历value  用占位符 _  元组的取值 和数组的不一样   下标索引是从1开始 不是从0开始
【大数据Scala系列】Scala Map & Tuple
weixin_54707168的博客
03-31 300
【大数据Scala系列】Scala Map & Tuple
Spark学习笔记——龟速更新。。
5akura's Blog
01-13 2679
文章目录Spark学习笔记第一章、基本认识与快速上手1.1、认识Spark1.2、对比Hadoop1.3、Spark组成基本介绍1.4、快速上手之WorldCount实现1.4.1、方式一（Scala类似集合操作实现）1.4.2、方式二(MR思维实现)1.4.3、方式三(Spark实现)第二章、环境搭建2.1、Local模式2.1.1、SparkShell命令行执行2.1.2、spark-sublime提交任务2.1.3、提交任务的参数说明2.2、Standalone模式2.2.1、配置改动与启动2.2.2
Scala10_集合02_Seq&Set&Map&Tuple&并行
weixin_43589563的博客
09-09 706
Seq1. Seq1.1 不可变集合 List1.2 可变集合 ListBuffer2. Set集合3. MapOption理解空指针异常Option的一些方法TupleQueueKafka分区Queue并发和并行线程安全问题 Seq是个特质，不能直接创建对象；可以使用其下面的类；学习Seq，就是学习Seq下面的类 1. Seq Scala默认提供不可变集合，不可变集合对数据的操作会产生新的集合 不可变集合一般都没有英文单词的方法 1.1 不可变集合 List object Scala04_Collecti
IDEA上Spark——Java、Scala的本地测试版与集群运行版
王某的博客
11-23 8880
Java本地测试 先放出代码中各类注释 代码以及源码地址 遇见的问题 打包jar到集群测试 Scala本地测试 源码 遇见的问题 Scala打包到集群测试 源码以及地址 遇见的问题 参考资源Java本地测试2017/11/131.先放出代码中各类注释（由于初次学习，为方便以后复习或查阅，注释较多。为避免代码太“冗余”故将部分注释分出来。） 注释i )、 每个Spark应用程序都由一个驱动
Scala的Map相关方法整合
11-12
包含Scala语言关于Map的相关方法总结，包括详尽的方法名及其作用
Spark——Java和Scala混编Maven开发：WordCount
kamisane的博客
04-21 927
文章目录1 运行环境2 Maven2.1 Windows下Maven配置2.2 IDEA创建Maven 项目3 实现代码3.1 Scala具体实现3.2 scala简化实现3.3 Java实现 1 运行环境 操作系统: WIN10 64位 JDK版本: 1.8.0_161 Scala版本: 2.11.2 Meven版本: 3.2.5 开发工具: IntellJ IDEA2018.3.3 2 M...
Spark基础知识20_Scala遍历操作，map和flatMap操作、fliter、reduce、fold
Matrix70的博客
06-08 1620
对lambda表达式含义的解释--->遍历到的元素赋值给s,然后让s去执行后续方法，这样就可以一个一个转换掉,此例中，会把值给s,然后执行.toUpperCase方法，然后再遍历，再执行下去.朗母达表达式，匿名函数case模式匹配，kv._1表示匹配的键，kv._2表示的匹配的值，这是元组的表达方式，这些遍历方法都可以去尝试。10 作为初始的s ,10 * 1，10 * 2， 20 * 3 ，60 * 4，240 *5。这些元素就构成了很大的集合，得到非常多的元素构成的整体的集合，就是我们所要的结果。
《深入理解Spark》之使用scala开发spark时，map+case结构使用技巧
凌夜知惜
10-03 5473
scala开发Spark程序时使用map +case结构的一点小技巧   people.txt文本如下 lyzx1,19 lyzx2,20 lyzx3,21 lyzx4,22 lyzx5,23 lyzx6,24 lyzx7,25 lyzx7,25,哈哈 托塔天王 package com.lyzx.start import org.apache.spark.{SparkConf, Sp...
学好Spark必须要掌握的Scala技术点（一）变量、表达式、循环、Option、方法和函数/偏函数
智海观潮的博客
09-22 355
前言 Scala是以JVM为运行环境的面向对象的函数式编程语言，它可以直接访问Java类库并且与Java框架进行交互操作。正如之前所介绍，Spark是用Scala语言编写的，Kafka server端也是，那么深入学习Scala对掌握Spark、Kafka是必备掌握技能。 本篇文章主要介绍，在学习、编写Spark程序时，至少要掌握的Scala语法，多以示例说明。建议在用Scala编写相关功能实现时，边学习、边应用、边摸索以加深对Scala的理解和应用。 1. 变量、表达式、循环、Option、方法和函数 1
Spark回炉重塑之Map与Tuple
阿尼古
09-26 748
目录 创建Map 访问Map的元素 修改Map的元素 遍历Map SortedMap和LinkedHashMap Map的元素类型—Tuple 小结 创建Map // 创建一个不可变的Map val ages = Map("Leo" -> 30, "Jen" -> 25, "Jack" -> 23) ages("Leo") = 31 // 创建一个可变的...
Spark算子：RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues
热门推荐
铭霏的记事本
06-26 1万+
partitionBy       def partitionBy(partitioner: Partitioner): RDD[(K, V)]       该函数根据partitioner函数生成新的ShuffleRDD，将原RDD重新分区。 scala> var rdd1 = sc.makeRDD(Array((1,"A"),(2,"B"),(3,"C"),(4,"D")),2) r
[scala-spark]7. list 与 map
沈春旭的博客
09-22 1641
1. list Scala 语言中提供的数组是用来存储固定大小的同类型元素，数组对于每一门编辑应语言来说都是重要的数据结构之一。声明数组变量并不是声明 number0、number1、...、number99 一个个单独的变量，而是声明一个就像 numbers 这样的变量，然后使用 numbers[0]、numbers[1]、...、numbers[99] 来表示一个个单独的变量。数组中某个指定...
Spark学习笔记08:Scala数据结构
balabalalibala的博客
05-17 842
目录 （一）定长数组 1、数组定义 （1）定义数组时初始化数据 （2）定义时指定数组长度后赋值 2、数组遍历 （1）传统for循环方式 （2）增强for循环方式 （3）利用foreach算子遍历数组 （4）数组求和 3、常用方法 （1）求数组中数值总和 （2）求数组中的最大值 （3）求数组中的最小值 （4）对数组进行升序排序 （5）对数组进行降序排序 （二）变长数组 1、数组定义 2、数组合并 3、插入元素 4、移除元素 二、列表 (List) （一）不可变列表
Scala与Spark深度学习笔记：从基础到SparkSQL
"该资源是关于Spark和Scala的综合学习笔记，涵盖了从基础到进阶的多个主题，包括Scala的开发环境配置、基本语法、集合操作、面向对象编程和函数式编程，以及Spark的环境搭建、算子使用、运行原理、运行模式和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值