- 博客(35)
- 收藏
- 关注
RSS订阅原创 MapReduce的工作原理
8. **Reduce 任务执行**：Reduce 任务接收中间结果，调用 `reduce()` 函数处理数据，生成最终结果。- **编程模型限制**：MapReduce 的编程模型较为固定，对于一些复杂的计算任务，可能需要编写大量的代码来实现。中间结果也是键值对的形式。- **Map 阶段**：负责处理输入的键值对（key-value pairs），并将中间结果输出为新的键值对。5. **Map 任务执行**：Map 任务读取输入分片，调用 `map()` 函数处理数据，输出中间结果。
2025-03-31 19:45:43
441
原创 hadoop的常用命令
`hdfs dfs -copyFromLocal localfile /path/to/hdfs`：与`put`命令功能相同。- `hdfs dfs -copyToLocal /path/to/hdfs localfile`：与`get`命令功能相同。- `hdfs dfs -rm -r -f /path/to/directory`：强制删除目录及其内容，不提示确认。- `hdfs dfs -get /path/to/hdfs localfile`：将HDFS中的文件下载到本地。
2025-03-31 19:43:10
412
原创 虚拟机ip设置
然后启动虚拟机 输入vi /etc/sysconfig/network-scripts/ifcfg-ens33。改地址 地址要看自己电脑情况配置，我这是学校电脑 都是配一样的。打开上次安装的虚拟机，左上角编辑/虚拟网络编辑器。然后改虚拟网卡 改和刚刚一样的 是改ipv4。使用vi编辑器修改其中的地址 一共是5行。然后输入指令重启网络设置。
2025-03-03 20:37:14
189
原创 vm虚拟机安装
它调用CentOS-7-x86_64-Minimal-2009.iso来安装操作系统.3. VC_redist.x86.exe: 系统补丁。如果安装VMware17.6时，提示缺少文件，再来安装它，否则不用。1. CentOS-7-x86_64-Minimal-2009.iso ： linux安装文件。五.选择操作系统 我这用的是Linux版本是centos 7 64位然后下一步选择安装位置。二.安装vm时会有安装位置自行选择安装在哪，下一步安装之后打开。九.选择中文点继续并进入安装位置看一下。
2025-02-19 11:23:22
217
原创 高阶函数分析（转
var arr1=arr.map((x:Int)=>2*x)//map是一个高阶函数，因为它的参数是一个函数。//map的格式：新的数组= arr.map(2函数：接收一个元素，返回一个值)//map作用：通过对数组的每一个元素应用一个函数来构建一个新数组。// val fn=(x:Int)=>2*x//字面量格式定义函数。//问题1：把(1,2,3,4,5)变成（1，4，9，16，25）//问题2：把(-1,2,-3,-4)变成(1,2,3,4)//学习一些常见的高阶函数(与数组，列表相关的)的用法。
2024-12-12 02:16:02
182
原创 函数的例题（转
println(arr1.sum)//.sum是自带的求和的功能。如果返回为true就保留。// arr.foreach(println)可以直接打印出来。var arr1=arr.flatten//不要小括号。arr1.foreach(println)//打印出来。//var t=arr(0)//选择哪个人。//任务：找到偶数的，并保存在新的数组中。//println(t0)//选择哪个值。//filter函数(过滤)发布于2024-10-14。//foreach函数。scala开发语言后端。
2024-12-12 02:14:42
269
原创 scala高阶函数（转
/ var re3=arr.reduceRight((x,y)=>x-y)//reduceRight函数从右到左计算。// var re2=arr.reduceLeft((x,y)=>x-y)//reduceLefth函数从左到右计算。//4.求Array(-1,0,1,3,2)把这5个数字，按它们到0点的距离从小到大排序？//元素x,元素y,该函数返回布尔值。//3. sorted 排序：按元素的自然顺序(数值，或者字符串)排序。// //arr.fold(初始值)(迭代函数)//题目：计算最大值。
2024-12-12 02:13:40
241
原创 scala的访问权限
/属性的访问修饰符：(1)无修饰符-不做任何限制 (2)private (3) protected (4)private[this]// 类的内部方法 伴生对象中的方法 类的外部(对象.访问) 子类对象.访问 子类方法是否可以访问 另一个对象.属性。// private[this] 可以 不可以 不可以 不可以 不可以 不可以。// protected 可以 可以 不可以 不可以 可以。// private 可以 可以 不可以 不可以 不可以。// 无修饰符 可以 可以 可以 可以 可以。
2024-12-12 02:11:27
325
原创 scala特质
/new子类，先会执行父类的构造器，而此时filename没有值。//p.log中的log方法是谁定义的？val height = 180 //val不可以修改，var可以修改。//具体方法：把msg这个内容，写入到具体的文件中。//特质可以有抽象属性，具体属性，抽象方法，具体方法。//val修饰的，可以用override重写。//var 修饰的，可以直接赋值。//具体属性可以重写（可选）//具体方法可以重写（可选）//抽象属性 要具体实现。//抽象属性（没有=）//抽象方法（没有=）
2024-12-12 02:10:53
483
原创 scala内部类
println("Enlish 加速.....")//实例化一个内部类:格式 new 对象.内部类()//问：类可以写____属性___和___方法___//使用内部类：new 对象.内部类名()//直接去操作类的私有属性。
2024-12-12 02:10:15
590
原创 scala继承
var d1=new Dog()//new一个子类的对象时,先调用父类的构造器,在调用子类。//new 一个子类对象，或者实例化一个子类对象，会不会调用父类的构造器？// val ----> override val xxx=新值。//多态：同一个方法，传入不同的对象，产生不同的结果。//override 重写父类的同名方法。//重写父类的同名方法:override。// d1.run()//自己改写的。// var ----> 直接赋值。// d1.say()//继承的。//参数ob:是父类类型。
2024-12-12 02:09:32
370
原创 scala模式匹配（转
/ case _ => println("我不知道啊！// case"条件1"=>println("名称1")// case"条件2"=>println("名称2")// case"条件3"=>println("名称3")// case "42" => println("湖北")// case "33" => println("浙江")// case "11" => println("北京")// case "31" => println("上海")// println("湖北")
2024-12-12 02:07:41
281
原创 scala条件守卫（转
0)|| (x%400==0) =>println(s"${x}年是闰年")// case Array(1,x,y)=>println(s"三个元素，且第一个为1，第二个是${x},第三个是${y}")// case _: Int => println(s"$x 是Int类型的") //_:Int 表示变量是Int类型。// case Teacher(a,b)=>println(s"${b}老师${a}")// case Stu(a)=>println(s"学生${a}")
2024-12-12 02:05:58
279
原创 读取文件的方法
writer.println(s"${b._1}次数是：${b._2}")val rs=content.split("\\W+")//正则表达式。val word=w.toLowerCase()//全小写。//Map不能直接排序，需要转成有序的集合。//W：表示非字符(，空格，？//4.根据出现的次数从高到低排序。//2.拆分字符串-->单词数组。//5.保存结果，涉及写入文件。//3.统计出现的频率。//W+:多个非字符。
2024-12-12 02:05:12
278
原创 练习题（自用
writer.println(s"姓名：${s.name},语文：${s.yuwen},数学：${s.shuxue},英语：${s.yingyu},总分：${s.zongfen},平均分：${s.pinjunfen},名次为：${s.mingci}")writer.println(s"姓名：${s.name},数学：${s.shuxue},总分：${s.zongfen}")writer.println(s"姓名：${s.name},语文：${s.yuwen},总分：${s.zongfen}")
2024-12-12 02:04:28
496
原创 迭代器（转
/ val it1=li1.iterator.take(3)//.take(3)只取到前三个数。// println(it1.next())//作用:获取当前元素+移动迭代器。// println(it1.next())//作用:获取当前元素+移动迭代器。// println(it1.next())//作用:获取当前元素+移动迭代器。// val it1 = li1.iterator//创建一个迭代器。// it1.next()//移动一次迭代器。// it1.next()//移动一次迭代器。
2024-12-12 02:03:38
791
原创 set和case class的例题
/ override def toString: String = s"书名是：$bookName,作者是：$author,价格是：$price"case class 的定义语法：case class 类名(属性名：类型,属性名：类型)// println(book1)//println会自动去调用对象的toString方法。有三个属性：书名，作者，价格。// //判断一个类的两个对象是否相等。// //判断依据是书名相同。case class的特点。3.它可以实现了一些方法。
2024-12-12 02:02:47
714
原创 练习题（转
println(s"书名：${el.bookName},作者：${el.author},价格：${el.price},数量：${el.number}")BookList+=new Book("001","书1","人1",23.4,100)BookList+=new Book("002","书2"," 人2",69,100)BookList+=new Book("003","书3","人3",78,28)val book1=Book("002","书2""人2",69,100)println("没有")
2024-12-12 02:00:31
355
原创 Scala(创建book自用）
bookList += new Book("002", "时间的织女", "亚历山大·雷诺兹", 138, 50)bookList += new Book("001", "星际穿越者", "艾米丽·斯通", 143, 100)bookList += new Book("003", "数字世界的奥秘", "莉莉·张", 169, 60)val book1 = Book("001", "星际穿越者", "艾米丽·斯通", 143, 100)println(s"《$bookName》不存在 删除失败")
2024-11-12 17:26:30
341
原创 Scala Set类
/ val set4 = set3 ++ immutable.Set("语文","思政","体育")// val set1 = immutable.Set("数学", "语文", "英语")// val set1 = mutable.Set("数学", "语文", "英语")// set1 ++= mutable.Set("语文","思政","体育")// //添加一个set。// //可变的Set。// //添加。
2024-11-05 15:25:45
419
原创 scala的特质(2仅自用)
println(s"${age}岁,${height}大高个,${hair}")//val 修饰的,可以override重写。println(s"嘴角微微扬起")//var 修饰的,可以直接赋值。val hair = "短发"//具体属性可以重写(可选)//具体方法可以重写(可选)//抽象属性 要具体实现。//抽象方法 要具体实现。//抽象属性(没有=)//抽象方法(没有=
2024-10-22 15:47:00
311
原创 scala的特质(自用)
/作用:(1)当接口用实现多继承(2)当抽象类，定义类标准。println(s"Mp3 播放 ${cd}")println(" Mp4 播放器 - 视频")//trait:特质(美丽,智慧,耐心......)def pause():Unit={//具体方法。val color = "red"//具体属性。//格式:trait 名字 { 属性,方法 }println(" Mp3 播放器")//子类继承特质，必须要实现所有的抽象的成员。//trait 不能直接new。val cd = "周杰伦"
2024-10-22 15:45:43
542
原创 抽象类 （自用）
/abstract:抽象类。有抽象方法的类，就是抽象类。抽象方法就是没有方法体的方法 def autoRun。println(s"小米自动驾驶.....${sheel},${hasDriver}")println("小米 su7 的 run")println(s"小米的自动泊车功能")sheel = 3//重写父类属性。//抽象类:制定标准，让其他类去实习。//把父类抽象变成现实。// // 实现。
2024-10-17 08:05:06
516
原创 scala的继承(自用)
println(s"${leg}条腿的 ${age}岁 的 Dog run .....")// d1.run()//自己改写的。//重写父类的同名方法：override。// d1.say()//继承的。println("父类构造器")//var ----> 直接赋值。
2024-10-17 08:03:29
304
原创 常见的高阶函数(与数组列表)的用法(3）flatten
/ //思路:二维>一维(60,90,99,61,91,.......)// var arr1 = arr.flatten//不用小括号。// println(arr1.sum)//.sum自带求和。//)//四个人每个人都有3门课的成绩。// //求全部分数的和。
2024-10-15 14:17:56
268
原创 常见的高阶函数(与数组列表)的用法(2)foreach和filter
/ var arr2=arr.filter((x:Int)=>x>=60)//大于等于60就输出。// var arr1=arr.filter((x:Int)=>x%2==0)//是偶数就输出。// //对数组元素使用函数过滤返回为true就保留。// //小案例：如果要找到偶数并保存到新的数组中。//对数组的每一个元素都执行一次函数,没有返回值。// //(3)filter(过滤)
2024-10-15 14:15:25
208
原创 常见的高阶函数(与数组列表)的用法（1）map
/ var arr1=arr.map(fn) //map是高阶 因为参数是一个函数。// var arr = Array(1,2,3,4,5)//Array:数组。// 格式:新数组= arr.map(函数:接受一个元素，返回一个值)// var fn = (x:Int) =>2*x//字面量格式定义函数。// 作用是对数组每一个元素应用一个函数来构建一个新的数组。仅自用 如果要用记得删//// //循环打印。
2024-10-08 18:02:26
239
原创 伴生和伴生对象 Scala
Scala相对于Java更加面向对象，但是在Java中有静态成员，静态成员不属于对象属于类。所以Scala需要类似于静态成员的场景，可以使用伴生对象解决问题。而Scala没有静态成员这个概念，也没有static。二.Scala的伴生对象与伴生类的问题。伴生对象和类的私有成员也可互相访问。2.在一个源码文件中。
2024-09-26 08:26:40
366
原创 Scala中的几种类型
按我自己理解是var可以后面改动，val不能改，private不可选中，调用的时候看不见直接是报错的。Scala中本人目前学习到3种类型。3种的区别按老师所说是。
2024-09-24 15:19:19
329
原创 如何在IntelliJ IDEA中运行scala中的代码
全局库里面的加号里的scala SDK 然后连续点确定就完了。插件搜索scala 下载完毕之后再点文件里面的项目结构中的全局库。首先 scala和java环境还有JavaIDEA都得安装好。然后就可以和java代码一样创建一个scala的类了。然后就是在idea中点左上角的文件里面的设置。
2024-09-10 17:00:50
308
原创 课程记录（2）
超出类型最大值的数可以用BigInt解决，输入val bigint=BigInt("233333333333333333333333")就成功解决了超出的问题。当赋值大于取值范围就会报错，就面临大数的处理问题，BigInt和BigDecimal可分别解决整数和浮点的大数问题。scala中输入Int.MaxValue可以查看int类型的最大值是2147483647。这里只写出一部分功能 功能还有很多 这里就不写出了。然后我又试了下能不能解决任意大小的数。scala的大数处理。
2024-09-10 16:17:52
287
原创 记录课程（1）
然后保存退出 在上面地址链接栏输入cmd 启动本文件夹位置的cmd输入如图中代码完成编译。到此就结束了 老师说还有种代码写法 但好像更麻烦 不想用。创建一个测试文件夹，在创建一个txt文本改名改后缀如图。在输入scala 文件名执行刚刚生成的class文件。仅为在校学生日常课程的记录（老师的任务罢了a.a）目标：输出 HelloWord!所用scala2.13.14。接下来用记事本方式打开输入。
2024-09-03 16:36:32
233
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人