- 博客(43)
- 收藏
- 关注
原创 MapReduce
以下是其工作原理的详细解析。- 调用用户编写的 `map()` 函数,将输入键值对(如 `<行号, 行内容>`)转换为中间键值对(如 `<单词, 1>`)。本地执行类似 Reduce 的合并操作(如对 `<单词, [1,1]>` 合并为 `<单词, 2>`),减少网络传输量。Reduce 任务将来自不同 Map 的同一分区数据合并,按键分组(如 `<单词, [1,1,1]>`)。Reduce 对每个单词的 `[1,1,...]` 求和,得到 `<word, total_count>`。
2025-04-01 07:45:52
318
原创 hadoop集群的常用命令
hdfs dfs -rm -r /hdfs/path/directory # 递归删除目录。hdfs dfs -setrep -w 3 /path/file # 修改副本数为 3。hdfs dfs -rm /hdfs/path/file # 删除文件。hdfs dfs -du -h /path # 查看目录大小。hdfs dfs -df -h # 查看整体空间。- **检查 HDFS 空间使用**- **查看运行中的应用列表**- **复制/移动文件**- **查看文件内容**
2025-04-01 07:31:49
396
原创 Scala迭代更新
在Scala中,迭代器(Iterator)是一种用于遍历集合(如数组、列表、集合等)的元素而不暴露其底层表示的对象。迭代器提供了一种统一的方法来访问集合中的元素,而无需关心集合的具体实现。在Scala中,可以通过调用集合的`iterator`方法或`toIterator`方法来获取一个迭代器。迭代器是Scala集合框架中非常重要的一部分,它们提供了一种高效且灵活的方式来遍历和处理集合中的元素。next(): 返回迭代器的下一个元素,并移动到下一个元素。1.hasNext: 检查迭代器是否还有更多元素。
2024-12-25 14:44:22
728
原创 Scala课堂小结
Map是无序,要对其进行排序,要先把数组转成序列。List,Array。// W:表示一个非字(不是一个字 eg:空格,逗号,句号……//2.把字符串拆分为一个一个的单词,保存到数组。//3.统计每个单词出现的次数。//5.把结果写到一个文件中。2.把字符串拆分成一个一个的单词。// \\:表示正则表达式。1.读取文件,得到很长的字符串。object 全文单词统计 {3.统计每个单词出现的次数。5.把结果写入到一个文件中。//1.读入文件内容。// W+:多个非字。
2024-12-25 14:36:50
990
原创 Scala的统计
val arr = it.next().split(",")//中文的逗号。val avg = f"${s.avg}%.1f" //只保留一位有效数字。val avg = f"${s.avg}%.1f" //只保留一位有效数字。val avg = f"${s.avg}%.1f" //只保留一位有效数字。val avg = f"${s.avg}%.1f" //只保留一位有效数字。val arr = it.next().split(",")//中文逗号。val avg = total / 3 //计算平均分。
2024-12-25 14:28:59
1449
原创 Scala的条件匹配
在 Scala 中,条件匹配主要通过match表达式来实现,它类似于其他语言中的switch语句,但功能更强。基本语法:match表达式通常与case关键字一起使用。判断:2000-2024年那一年是闰年哪一年是平年。输入一段数字,判断属于那个范围。
2024-12-25 14:25:15
561
原创 Scala隐式转换 隐式函数
reg.findAllIn("我是who,我的电话是:12312").toList.foreach(println)val result = reg.findFirstIn("我是who,我的电话是:23121")
2024-12-05 11:27:20
225
原创 Scala的迭代器
在Scala中,迭代器(Iterator)是一种用于遍历集合(如数组、列表、集合等)的元素而不暴露其底层表示的对象。迭代器提供了一种统一的方法来访问集合中的元素,而无需关心集合的具体实现。在Scala中,可以通过调用集合的`iterator`方法或`toIterator`方法来获取一个迭代器。迭代器是Scala集合框架中非常重要的一部分,它们提供了一种高效且灵活的方式来遍历和处理集合中的元素。1.hasNext: 检查迭代器是否还有更多元素。返回迭代器的下一个元素,并移动到下一个元素。
2024-11-13 20:27:27
140
原创 Scala练习题2
不可变列表的典型操作包括::(cons操作,用于在列表头部添加元素)、:+(在列表末尾添加元素)和++(合并两个列表)。在Scala中,列表(List)分为可变列表和不可变列表两种类型。可变列表使用ListBuffer类来表示,它提供了如+=(添加元素)、-=(删除元素)和update(修改元素)等方法来进行修改操作。当你对不可变列表进行添加、删除或修改操作时,实际上是创建了一个新的列表,原来的列表保持不变。在Scala中,列表(List)分为可变列表和不可变列表两种类型。
2024-11-11 07:58:10
216
原创 Scala list系列
li.prepend("武汉") //在头部添加。li += "广州" //在尾部添加。// li.insert(位置,值)li.insert(2,"上海")
2024-11-07 11:02:36
167
原创 Map实训内容
1.创建一个可变Map,用于存储图书馆中的书籍信息(键为书籍编号,值为包含书籍名称、作者、库存数量的元组),初始化为包含几本你喜欢的书籍信息。4. 修改某本书籍的库存数量(假设可以通过键找到对应的元组并修改其中的值,这里体现可变 Map 的特性)。3.根据书籍编号查询某一本特定的书籍信息,使用get方法,并输出结果。2.使用 +=操作符添加两本新的书籍到图书馆集合中。6.遍历图书馆书籍Map,并打印出每本书的信息。5.使用-= 操作符从图书馆集合中删除一本书。
2024-11-06 18:24:21
236
原创 Set实训内容
4.检查一本特定的书籍(eg:Python从入门到实践)是否在图书馆集合中,使用contains方法,并输出结果。1.创建一个可变Set,用于存储图书馆中的书籍信息(假设书籍信息用字符串表示),初始化为包含几本你喜欢的书籍。5.创建另一个可变Set,表示另一个图书馆的书籍集合。2.添加两本新的书籍到图书馆集合中,使用+=操作符。3.删除一本图书馆集合中的书籍,使用+=操作符。8.求出当前图书馆相对于另一个图书馆的差集。6.求出两个图书馆集合的并集。7.求出两个图书馆集合的交集。
2024-11-06 18:22:54
172
原创 Scala-为继承而生的类--抽象类
println("小鹏汽车的智驾技术.......")//抽象类的作用,提供标准,供其他类来继承(实现标准)//继承抽象类时,必须要实现所有的抽象属性和抽象方法。// 抽象类:制定标准,不要求去具体实现。def autoRun //抽象方法。// 自动驾驶:不要求具体实现功能。brand = "小鹏"//abstract:抽象。
2024-10-17 10:47:08
163
原创 Scala高阶函数(课堂小结5)
1.reduce函数2.reduceLeft-reduceRight3.fold函数4.sorted函数5.sortedWith
2024-10-14 09:44:13
131
原创 Scala课堂笔记5
高阶函数包括(map函数、foreach函数、filter函数、flatten函数等)2、foreach函数。4、flatten函数。3、filter函数。
2024-10-10 11:21:06
303
原创 scala课堂小结
for(var x <-区域;5:continue的功能是什么?4:设置返回值用yield 关键字。for(var x<-区域;for(var x<-区域 by步长)1:for 循环的格式?2:如何设置循环守卫?3:如何设置循环步长?
2024-09-17 09:30:49
450
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人