2403_87076417的博客

原创 spark和hadoop的区别

一、spark概述二、处理速度三、 编程模型。

原创 6.hadoop 集群的常用命令

hdfs dfs -rm -r /hdfs/path/directory # 递归删除目录。hdfs dfs -setrep -w 3 /path/file # 修改副本数为 3。hdfs dfs -rm /hdfs/path/file # 删除文件。hdfs dfs -du -h /path # 查看目录大小。hdfs dfs -df -h # 查看整体空间。- **检查 HDFS 空间使用**- **查看运行中的应用列表**- **复制/移动文件**- **查看文件内容**

原创 mapreduce的工作原理

以下是其工作原理的详细解析。- 调用用户编写的 `map()` 函数，将输入键值对（如 `<行号, 行内容>`）转换为中间键值对（如 `<单词, 1>`）。本地执行类似 Reduce 的合并操作（如对 `<单词, [1,1]>` 合并为 `<单词, 2>`），减少网络传输量。Reduce 任务将来自不同 Map 的同一分区数据合并，按键分组（如 `<单词, [1,1,1]>`）。Reduce 对每个单词的 `[1,1,...]` 求和，得到 `<word, total_count>`。

原创 5.Linux配置虚拟机

步骤一步骤二步骤三步骤四finalshell。

原创 4.Linux操作系统命令

1.Linux和centos操作系统命令。2.Linux的文件系统。5.路径中的特殊字符。

原创 3.Linux编译器

1.三种模式2.图例3.wq4.光标的使用。

原创 2.Linux基础摘要 命令及实例

1.cat命令 more命令。

原创 1.Linux基础学习

1.Linux基本命令。

原创 Scala课堂小结32

原创 Scala课堂小结31

原创 Scala课堂小结30

原创 Scala课堂小结29

原创 Scala课堂小结28

原创 Scala课堂小结27

原创 Scala课堂小结26

原创 Scala课堂小结25

数组。

原创 scala的迭代器

在Scala中，迭代器（Iterator）是一种用于遍历集合（如数组、列表、集合等）的元素而不暴露其底层表示的对象。迭代器提供了一种统一的方法来访问集合中的元素，而无需关心集合的具体实现。在Scala中，可以通过调用集合的`iterator`方法或`toIterator`方法来获取一个迭代器。迭代器是Scala集合框架中非常重要的一部分，它们提供了一种高效且灵活的方式来遍历和处理集合中的元素。1.hasNext: 检查迭代器是否还有更多元素。返回迭代器的下一个元素，并移动到下一个元素。

原创 scala的list例题

原创 Scala课堂小结24

list分为可变的和不可变的，其中不可变是默认的。2、通过下标来访问：下标从0开始。8、遍历 for foreach。list：有序的 链表（特点）7、查找，判断元素是否存在。

原创 Map实训内容

1.创建一个可变Map,用于存储图书馆中的书籍信息(键为书籍编号,值为包含书籍名称、作者、库存数量的元组)，初始化为包含几本你喜欢的书籍信息。4. 修改某本书籍的库存数量(假设可以通过键找到对应的元组并修改其中的值，这里体现可变 Map 的特性)。3.根据书籍编号查询某一本特定的书籍信息，使用get方法，并输出结果。2.使用 +=操作符添加两本新的书籍到图书馆集合中。6.遍历图书馆书籍Map，并打印出每本书的信息。5.使用-= 操作符从图书馆集合中删除一本书。

原创 Set实训内容

4.检查一本特定的书籍（eg：Python从入门到实践）是否在图书馆集合中,使用contains方法，并输出结果。1.创建一个可变Set，用于存储图书馆中的书籍信息（假设书籍信息用字符串表示），初始化为包含几本你喜欢的书籍。5.创建另一个可变Set，表示另一个图书馆的书籍集合。2.添加两本新的书籍到图书馆集合中，使用+=操作符。3.删除一本图书馆集合中的书籍，使用+=操作符。8.求出当前图书馆相对于另一个图书馆的差集。6.求出两个图书馆集合的并集。7.求出两个图书馆集合的交集。

原创 Scala课堂小结23

二：Map的常用方法 --- 添加元素。三：Map的常用方法 --- 查询元素。四：Map的常用方法 --- 删除元素。一：Map的定义和创建。一：Map的定义和创建。

原创 Scala课堂小结22

注：它的元素不能重复， 例如 Set(1,1) ==> Set(1)注：如果要定义可变的（mutable）Set，需要额外导入包。Set的特点： 唯一（元素不相同），无序。注：默认使用的Set是不可变的。三：不可变与可变Set的区别。二：Set的代码格式。

原创 Scala课堂小结21

四：Scala的包的导入。

原创 Scala课堂小结20

Scala的访问权限一：Scala的访问权限概述二：Scala的属性访问权限三： private[this]的例子四：Scala的控制方法作用域

原创 Scala课堂小结19

运行结果 A051。一：trait的加载顺序。trait多继承详解。

原创 scala课堂小结18

注：zhu一个类继承多个trait是，要使用with。注：类通过extends关键字来去继承trait。一：trait定义和作用。四：特殊成员的处理方式。

原创 scala课堂小结17

二：内部类的基本使用。三：内部类实例化案例。

原创 scala课堂小结16

定义抽象方法：abstract class A { }具体方法：完整的，有方法体的。def xxx() {}继承抽象类时，必须要实现所有的抽象属性和抽象方法。抽象类的作用：提供标准，供其它类来继承（实现）具体属性 var，val 属性名 = 值;抽象方法：只有def方法名，没有方法体。抽象类：制定标准，不要求去具体实现。抽象属性 var 属性名：类型。

原创 Scala课堂小结15

实例化子类的对象，会先调用父类的构造器，再调用子类的构造器。多态：传入的对象不同，调用方法的效果就不同。定义：在子类中重新定义父类同名的方法。六：处理构造器的调用顺序。原理：参数是父类类型。

原创 Scala课堂小结14

fold作用和reduce一样，区别在于提供了一个初始值。二：reduceLeft-reduceRight。四：sorted 函数和sortedWith。是把多个数据合并成一个结果。计算最大值 ，最小值。

原创 scala课堂小结13

一维函数，二维函数，三维函数。三：foreach函数。三：foreach函数。五：flatten函数。四：filter函数。

原创 Scala课堂小结12

4.Scala的函数的闭包。6.Scala部分应用函数。5.函数的柯里化格式定义。1.函数的字面量语法。1.函数的字面量语法。3.把函数作为返回值。

原创 Scala课堂小结11

③在Scala中，链式风格的函数调用通常通过使用组合模式（Companion Object Pattern）或者直接返回这个函数自身来实现。这种方式常用于构建函数式编程中的链操作，比如处理集合、流(Stream)等数据结构。①在Scala中，你可以为函数设置默认参数值，这允许你在调用函数时不传入某些参数，而使用其预设的默认值。这是通过在函数声明时为参数指定默认值来实现的。操作符来创建可变参数列表，分别用于非可命名的参数和可命名的参数。②在Scala中，可以使用。2.创建不带（）的方法。

原创 Scala课堂小结10

1.递归函数1.递归函数2. 例题。

原创 scala课堂小结9

哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈。1. 打印数字的各个位数。

原创 scala课堂小结8

哈哈哈哈哈哈哈 一节课就这样愉快的结束啦。递归情况，调用自己去解决子问题。组成：基本情况，最小问题的答案。

原创 scala课堂小结7

2.伴生类和伴生对象。

原创 scala课堂小结6

1.2.3.4.5.6.7.

原创 scala课堂小结5

2. 用class创建类，用new创建对象。3. 使用def定义成员方法。4. 属性是可以改的。