m0_66791933的博客

原创 mapreduce的工作原理

MapReduce 是一种用于**大规模数据并行处理**的编程模型，由 Google 提出，其核心思想是将计算任务分解为 **Map（映射）** 和 **Reduce（归约）** 两个阶段，通过分布式计算高效处理海量数据。- **处理**：Map 函数对每个分片中的键值对（如文本行、日志记录）进行处理，生成中间键值对（如 `<单词, 1>`）。- **输入**：将输入数据分割为多个 **分片（Split）**，每个分片分配给一个 Map 任务。- **输出**：最终结果写入分布式文件系统（如 HDFS）。

原创 1. hadoop 集群的常用命令

Hadoop集群的常用命令主要分为**HDFS文件操作**、**YARN资源管理**、**集群管理**和**维护工具**四大类。hdfs dfs -put <本地路径> <HDFS路径> # 等价于 -copyFromLocal。hdfs dfs -get <HDFS路径> <本地路径> # 等价于 -copyToLocal。hdfs dfs -ls <HDFS路径> # 例如：hdfs dfs -ls /user。hdfs dfs -copyToLocal <HDFS路径> <本地路径>

原创 配置虚拟机

配置虚拟机

原创 vi的基本使用

vi的基本使用

原创 Linux的常用命令

Linux的常用命令

原创 vm和centos

选择 “Linux” 操作系统，版本根据你下载的 CentOS 版本进行选择，如 “CentOS 7 64 位”，点击 “下一步”。选择 “安装程序光盘映像文件（ISO）”，点击 “浏览” 按钮，找到之前下载好的 CentOS 镜像文件，选择后点击 “下一步”。可以选择默认的安装位置，也可以点击 “更改” 按钮，指定其他磁盘路径进行安装，设置完成后点击 “下一步”。在弹出的 “新建虚拟机向导” 中，选择 “典型（推荐）”，然后点击 “下一步”。确认所有设置无误后，点击 “安装” 按钮，等待安装过程完成。

原创 scala思维导图

原创 scala图书管理系统【ui】软件包

【代码】scala图书管理系统【ui】软件包。

原创 scala图书管理系统【service】软件包

【代码】scala图书管理系统【service】软件包。

原创 scala图书管理系统 【modeis】软件包

【代码】scala图书管理系统 【modeis】软件包。

原创 scala图书管理系统 【dao】软件包

【代码】scala图书管理系统 【dao】软件包。

原创 scala图书管理系统

文件：books.txt ,users.txt ,borrow_records.txt。9,你当像鸟飞往你的山,塔拉·韦斯特弗,true。8,哈利·波特与魔法石,J.K.罗琳,true。3,百年孤独,加西亚·马尔克斯,true。4,小王子,圣埃克苏佩里,true。10,邓小平时代,傅高义,true。1,人性的弱点,卡耐基,true。2,理想国,柏拉图,true。5,红楼梦,曹雪芹,true。6,围城,钱钟书,true。软件包【service】7,活着,余华,true。软件包【modeis】

原创 图示管理系统

原创 十个Scala的小知识

可以在Scala项目中直接使用Java类库，也可以将Scala代码编译后供Java项目使用。例如，一个Java框架可以轻松地集成Scala编写的代码模块。例如，可以使用flatten方法将嵌套的集合扁平化为一个层次的集合。当编写递归函数且递归调用是函数的最后一个操作时，可以利用尾递归优化性能。例如，可以定义自己版本的加法操作符。可以使用type关键字定义类型别名，这使得复杂的类型可以使用一个简化的名称在代码中表示。可以定义包对象来存放包级别的属性和方法，而不是把这些内容分散在不同的类或者单例对象中。

原创 十个Scala的使用小技巧

如果你对Scala的语法和功能还有更多的疑问，我可以给你分享一些相关的学习资源。样例类自带了很多有用的方法，比如`toString`、`equals`等。在定义泛型类时可以指定协变或逆变，这在处理类型之间的关系时很有用。在Scala中，可以使用类型推断来简洁地定义变量。这里`filter`方法可以方便地过滤出满足条件的元素。使用`s`插值可以方便地把变量嵌入到字符串中。使用`Option`类型可以避免空指针异常。使用`_`可以匹配其他所有情况。Scala中的匿名函数简洁方便。# 1. 简洁的变量定义。

原创 Scala异常

原创 Scala泛型

原创 Scala隐式转换

隐式转换隐式对象隐式类隐式功能转换。

原创 Scala正则表达式

原创 Scala 守卫语句

原创 Scala的成绩统计和匹配

成绩示例统计匹配。

原创 Scala中String的常用方法

原创 实训类容：

println(s"内容: ${dream.content}, 是否完成: ${dream.isCompleted}, 截止日期: ${dream.dueDate}, 优先级: ${dream.priority}")dreamList += DreamItem("学习一门新语言", false, "2024-12-31", 3)// 把优先级排名前5的梦想保存到一个新的列表中。7. 把优先级排名前 5 的梦想保存到一个新的列表中。// 调高第3个梦想的优先级，这里假设调高到5。// 循环输出梦想列表。

原创 Scala 数组

原创 迭代器的基本使用

原创 迭代器及常用方法

take 和 drop方法。duplicater方法。

原创 实训内容使用 case class 创建图书信息类Book

4.添加一本已经存在的书。此时应该去修改BookList中对应书目的数量，而不 是去添加一条新数据。1.使用case class创建图书信息类Book：包含四个属性：ID，书名，作者，价 格，数量。2.创建一个名为BookList的可变List，它只能用来保存Book的实例。3.初始化三本不同的书（注意id不同就是不同的书），加入到BookList中。5.根据图书名称查询是否在列表中（通过遍历列表对比名称）9.遍历图书列表，并打印每本书的详细信息。10.展示全部的总的金额。7.删除指定ID的书。

原创 class 和 case class

classcase class。

原创 Scala的继承与多态

原创 Scala的List的基本操作

原创 scala 的包

package包。

原创 图书馆书籍管理系统练习

/1.创建一个可变 Set，用于存储图书馆中的书籍信息（假设书籍信息用字符串表示，如 “Java 编程思想”“Scala 实战” 等），初始化为包含几本你喜欢的书籍。//4.检查某一本特定的书籍（如 “Python 从入门到实践”）是否在图书馆集合中，使用 contains 方法，并输出结果。val books2 = mutable.Set("西游记","红楼梦","海底两万里")//7.求出两个图书馆书籍集合的交集，使用 intersect 方法，并输出结果。books1 += "红楼梦"

原创 Scala Map 的常用操作

原创 Scala set的常用

set定义set常用操作。

原创 今天学的抽象类

原创 复用代码，重写

原创 reduce，reduceLeft，flod，sorted函数，sortWith

reducereduceLeftflodsorted函数sortWith。

原创 今天上午的三四节课学的内容

原创 今天上午两节课学的内容

原创 Scala思维导图