- 博客(64)
- 收藏
- 关注
RSS订阅原创 mapreduce工作原理
MapReduce 是一种分布式计算模型，用于处理大规模数据集。它的核心思想是将一个复杂的计算任务分解为多个简单的任务（Map 和 Reduce），并在分布式集群上并行执行。
2025-04-02 16:06:20
856
原创 hadoop的常用指令
scp：它可以实现服务器与服务器之间的数据拷贝。说明（1）r表示递归拷贝。如果要拷贝的是文件夹，就把文件夹下的内容都拷贝（2）要拷贝的文件路径/名称（3）目的地用户@主机:目的地路径/名称现在的目标是：要把hadoop100上的jdk文件夹拷贝到hadoop101中的相同的目录下。我们一起看具体操作：1. 启动虚拟机。把hadoop100和hadoop101都启动。2. 进入到hadoop1003. 命令：root。
2025-04-02 16:02:28
496
原创 一分钟教你数据清洗
它是指对采集到的原始数据进行预处理，以去除错误、重复、不完整或不一致的数据，使数据符合分析要求的过程。对于reduce函数来说，它的输入参数是：<刷选后的每一行的内容，[null,null,...]>，对于我们的需求来说，并不需要这个阶段。在之前的项目的基础之上，重写去写一个包，并创建两个类：WebLogMapper和WebLogDriver类。map阶段：按行读入内容，对内容进行检查，如果字段的个数少于等于11，就删除这条日志（不保留）<偏移量，每一行的内容> → <刷选后的没一行的内容，null>
2025-04-02 15:50:05
170
原创 虚拟机IP配置
linux中，ip地址是写在配置文件（/etc/sysconfig/network-scripts/ifcfg-ens33）中，这里使用 vi 编辑器去修改即可！如果不进行设置，每次启动机器时都可能是随机的IP，不方便我们后续操作。注意:这里的第三个部分的10并不是固定的，我们自己可以约定，但是约定之后就要固定下来。让所有的vm配置的虚拟机使用NAT时，它们的网段都是一致的。配置Windows本地虚拟网卡，让本机也可以访问虚拟机。具体设置为：进入虚拟机，修改对应的IP。（3）设置虚拟机的IP。
2025-02-26 15:50:11
374
原创 vi编辑器的使用方法
**末行模式（Last Line Mode）**：在命令模式下按 `:` 进入，用于执行保存、退出等操作。- **命令模式（Command Mode）**：默认模式，用于执行命令（如移动光标、删除文本等）。- **插入模式（Insert Mode）**：用于输入或编辑文本。- 在命令模式下，按 `p` 将复制的内容粘贴到当前行的下一行。- 在命令模式下，将光标移动到要删除的行，然后按 `dd`。第一次进入 `vi` 编辑器时，默认是**命令模式**。- 输入 `:wq` 或 `:x`：保存并退出。
2025-02-25 11:04:12
242
原创 Linux常用指令
mkdir -p dir1/dir2：递归创建。- touch: 创建空文件或更新文件时间戳。- head/tail: 查看文件开头/结尾。- more/less: 分页查看文件。- tail -f：实时查看日志。- mv: 移动或重命名文件/目录。- chown: 修改文件所有者。- chgrp: 修改文件所属组。- chmod: 修改文件权限。- rm -r：递归删除。- rm -f：强制删除。- cp -r：递归复制。ls -l：详细列表。- rm: 删除文件或目录。- cp: 复制文件或目录。
2025-02-25 08:00:31
119
原创 1分钟教你使用vm虚拟机
4.选择操作系统【Linux】===> 【CentOS-7 7 64 位】（我要创建的是CentOS-7，所以我选择CentOS-7，这里选择你要创建的系统就行了）===> 下一步。7.找到【CD/DVD 】点击使用ISO映像文件 ===> 浏览(选择自己下载的镜像文件，最后点击确定。5. 选择是否更改虚拟机的名字或位置。以下步骤，全部点击“下一步”3.选择“稍后安装操作系统”2.创建虚拟机，选择自定义。
2025-02-19 13:47:04
366
原创 Scala模式匹配之年份匹配人名
val t = ("雷jun",1969) //元组。"马yun - 阿里巴巴" -> 1964,"马化teng - 腾讯" -> 1971,"李彦hong - 百度" -> 1968,"雷jun - 小米" -> 1969,"丁lei - 网易" -> 1971,//对于Map，可以for 遍历。//找出1971年出生的老板。
2024-12-04 15:55:34
359
原创 Scala获取元素
/需求：现在需要一个数组Array（1,2,3,4），我希望能定义三个变量，它们的值分别是数组中的第1,2,3个元素的值。//让x,y,z分别为2,3,4。
2024-12-04 15:54:15
833
原创 Scala的match case 能根据 类名和属性的信息，匹配到对应的类
case Student(name,className) => println(className,"的学生",name)case Person(nm) => println("普通人类",nm)//match case 能根据 类名和属性的信息，匹配到对应的类。val s1 = Student("小明","2(3)班")//1.匹配的时候，case class 的属性个数要对上。case _ => println("其他")val p1 = Person("小花")//2.属性名不需要一一对应。
2024-12-04 15:53:18
842
原创 Scala匹配数组
case Array(1,x,y) =>println(s"数组第一个元素是1.一共有3个元素${x},${y}")case Array(1,x,y,z) =>println("数组第一个元素是1.一共有4个元素")case Array(_,1,_*) =>println("数组第二个元素是1.一共有n个元素")case _ => println("其他")//匹配 数组 ：元素的个数 + 元素的特征。
2024-12-02 16:56:10
290
原创 Scala用match case判断闰年
0 => println(s"输入的${year}是闰年")case _ => println(s"输入的${year}不是闰年")println(s"用户输入的是：$year")//1.year 能被整除4，不能整除 100。println("请输入一个年份：")//2.year 能被整除400。//从控制台读入一个年份。
2024-12-02 16:05:02
300
原创 Scala 的match case 匹配元组
case (x,y,z,k) => println(s"这是一个有三个元素的元组，它的第二个元素是： ${k}")case (x,y,z) => println(s"这是一个有三个元素的元组，它的第二个元素是： ${y}")case _ => println("未知类型")val d: Any = d1 //d的类型是Any。//match case 匹配元组。
2024-12-02 15:28:54
400
原创 Scala身份证号if else if else查询省份
/ 如果是 42，输出 湖北。// 如果是 11，输出 北京。// 如果是 31，输出 上海。println("湖北")println("北京")println("上海")println("其他")//否则，就输出 其他。
2024-12-02 15:26:21
251
原创 Scala身份证号match case查询省份
case 42 => println("湖北")case 11 => println("北京")case 31 => println("上海")case _ => println("其他")
2024-12-02 15:24:06
225
原创 Scala关于成绩的常规操作
println("当前行是",name,yingyu,total,avg)//3.如何判断一个正整数是否可以被3整除？//1.读入成绩,按行读取，跳过其他。//使用中文的逗号去拆分字符串。//1.迭代器，跳过第一个元素。//2.把字符串转成数字。
2024-11-27 16:06:35
674
原创 Scala读取单词的次数
/对于m1，它是是一个Map（thank：10,is:5),现在需要对它进行排序，把出现次数最多的放在在前面，然后再输出。// \\w+:大写字符w表示：丰字（不是一个字的字符。//1.字符串.split("分隔符")：把字符串用指定的分隔符，拆分成多个部分，保存在数组中。val arr = content.split("\\w+")//得到是一个字符串数组。//只需要排序之前的结果的前15个？//把字符串中的每个单词，折出来。//把结果保持到一个新的文件中去。// +：一个或者多个。
2024-11-27 16:05:35
345
原创 Scala关于身份证的常规操作
4.substring（起点下标，终点下标（不包括））字符串截取。5.charAt（下标）得到对应位置的字符（不是字符串）9.length属性：用来获取有几个字符。3.toLowerCase：：变小写。8.contains： 是否包含子串。2.toUpperCase：变大写。6.asDigit：把字符转成数字。1.toInt：把字符串转成整数。7.“”“三引号字符串，支持换行。
2024-11-25 16:44:46
347
原创 Scala栈
println(s1.pop()) //出栈。println(s1.pop()) //出栈。println(s1.pop()) //出栈。println(s1.pop()) //出栈。// q1.enqueue(2) // 入队。// q1.enqueue(3) // 入队。// q1.enqueue(4) // 入队。s1.push(4) //入栈。// //出队：获取对首的元素。// //出队：获取首队的元素。//queue : 队列。
2024-11-20 17:10:32
278
原创 Scala的set
println(book1 == book2) // false 因为 book1和book2 地址不同。val book1 = new Book("西游记","吴承恩",99)val book2 = new Book("西游记","吴承恩",99)val book3 = new Book("西游记","吴承恩",99)//Set的特点：唯一（元素不相同）；//向Set中添加两条一样的数据。//定义一个可变set。
2024-11-13 16:32:15
469
原创 Scala可变List的图书常规操作
val book3 = new Book("追风筝的人", "卡勒德·胡赛尼", 49.99)val book7 = new Book("平凡的世界", "路遥", 45.99)val book8 = new Book("红楼梦", "曹雪芹", 79.99)val book5 = new Book("围城", "钱钟书", 35.99)val book6 = new Book("三体", "刘慈欣", 69.99)val book4 = new Book("活着", "余华", 29.99)
2024-11-13 15:35:51
322
原创 Scala可变List
println(li1(1)) //1 就是第二个元素。//操作：添加，删除，修改，查询，遍历。//有序：下标从0开始，可以依次访问。//分类：可变，不可变（默认不可变）//通过下标来访问元素。//链表结构：有头有尾。
2024-11-11 16:58:32
498
原创 Scala图书馆的可变Map的操作
/3.1 get方法：输入key，如果找到，就返回包装数据，如果没有找到，就返回None。map1 += ("04"->"《三国演义》罗贯中，库存108")map1 += ("03"->"《水浒传》施耐庵，库存108")map1("02") = "《红楼梦》曹雪芹，库存999"// val rs = map1.get("鄂")"01"->"《西游记》吴承恩，库存100","02"->"《红楼梦》曹雪芹，库存98")//操作：添加元素，删除元素，查询元素，删除元素，遍历。
2024-11-11 15:45:15
412
原创 Scala的可变Map常用操作
val map1 = mutable.Map("鄂"->"湖北省","湘"->"湖南省","青" ->"青海省")//3.1 get方法：输入key，如果找到，就返回包装数据，如果没有找到，就返回None。// val rs = map1.get("鄂")//4.修改元素：把青->青海，改成 青 -> 青海省。//操作：添加元素，删除元素，查询元素，删除元素，遍历。map1 += ("豫"->"河南省")map1("青") = "青海省"//map1 -= "鄂"//可变的Map需要导入包。
2024-11-11 15:15:40
332
原创 Scala的不可变Map常用操作
/3.1 get方法：输入key，如果找到，就返回包装数据，如果没有找到，就返回None。val map1 = Map("鄂"->"湖北省","湘"->"湖南省")val map4 = map1 + ("青" -> "青海省")//val map3 = map1 +("鄂"->"河南省")val map2 = map1 + ("豫"->"河南省")// val rs = map1.get("鄂")// println(map1("鄂1"))//map1("青") = "青海省"
2024-11-11 15:08:36
264
原创 Scala的图书馆操作
val xiaoming = mutable.Set("呐喊", "阿Q正传")val xiaohua = mutable.Set("水浒传", "红楼梦")val books = mutable.Set("西游记","红楼梦")books ++= mutable.Set("呐喊", "阿Q正传")val rs = books.contains("红楼梦")println(s"红楼梦是否存在：${rs}")books += "三国演义"books += "水浒传"//4.添加一个Set。
2024-11-06 16:57:35
228
原创 Scala的银行操作
/转账：把当前的账户的余额转出 money 给 to 这个账户。println(s"现在的余额是:${balance}")//转账给zhangxiyu100。//A 减少 B 增加。
2024-11-04 16:55:34
357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人