2301_81908848的博客

原创 mapreduce的工作原理

MapReduce可以分成Map和Reduce两部分理解。映射过程，把一组数据按照某种Map函数映射成新的数据。映射、变换、过滤的过程。一条数据进入map会被处理成多条数据，也就是1进N出。归纳过程，把若干组映射结果进行汇总并输出。分解、缩小、归纳的过程。一组数据进入reduce会被归纳为一组数据（或者多组数据），也就是一组进N出。3.mapreduce：我们将map过程和reduce过程连接起来，会发现会发现它是这样的（如下图）mapreduce输入数据集中间结果数据集最终结果数据集。

原创 1. hadoop 集群的常用命令

16.离开hadoop的 安全模式(系统处于只读状态,namenode不会处理任何块的复制和删除命令)13.从hdfs的一个路径拷贝hdfs的另一个路径。11.从本地文件系统中拷贝文件到hdfs路径去。15.追加一个文件到已经存在的文件末尾。22.统计一个指定目录下的文件节点数量。23.设置hdfs中文件的副本数量。7.以字符形式打印一个文件的内容。10.从hdfs剪切粘贴到本地。14.在hdfs目录中移动文件。9.从本地剪切粘贴到hdfs。2.获取hdfs中的文件。6.显示一个文件的末尾。

原创 linux命令(1)

示例：把目录dirl复制得到dir2 cp -r dirl dir2。enter建可以一行一行翻，space键翻下一页，按b翻下一页。如果源文件和目标文件在同一目录下，就是重命名否则就是移动。创建一个空的文件：touch filel.txt。3.more-tail:查看文件结尾部分内容。4.more-n:用于显示行数，默认为10行。例：more/etc/sudo.conf。例：cat/etc/host.conf。格式：mv 源文件 目标文件。格式：cp源文件 目标文件。

原创 虚拟机ip配置

linux中，ip地址是写在配置文件（/etc/sysconfig/network-scripts/ifcfg-ens33）中，这里使用 vi 编辑器去修改即可！如果不进行设置，每次启动机器时都可能是随机的IP，不方便我们后续操作。注意:这里的第三个部分的10并不是固定的，我们自己可以约定，但是约定之后就要固定下来。让所有的vm配置的虚拟机使用NAT时，它们的网段都是一致的。（2）配置Windows本地虚拟网卡，让本机也可以访问虚拟机。具体设置为：进入虚拟机，修改对应的IP。（3）设置虚拟机的IP。

原创 vi常见命令操作

命令模式：在这个模式下，所敲的按键编辑器都理解为命令，以命令来驱动执行不同的功能。当我们通过vi命令第一次打开文件的时候，进入的就是命令模式。1.如果这个文件不存在，此时就是新建文件，编辑器的左下角会提示：new file。提示：在命令模式下按下shift+ zz，可以实现快速保存退出。vi编辑器有三种工作模式，分别是：命令模式，编辑模式，底线模式。2.如果文件已经存在，此时就打开这个文件，进入命令模式。从命令模式切换到底线命令模式，输入：进入底线命令模式。4.按下G键（大写g）可以跳到文件的最后一行。

原创 Linux命令（2）

ls命令可以查看文件夹下的文件信息，如果某个文件夹下的文件特别多，使用ls命令时，就只能显示后面一部分文件信息，那如果我们希望查看全部的文件信息，就需要用到管道运算符。我们要去下载安装新的软件时就需要用到它：下载下来的软件大多都是.tar格式，而安装的过程就是解压缩。把1.txt,2.txt,3.txt 压缩到 test.tar 文件（会被自动创建）中。如果这个文件不存在，就会顺手创建这个文件。ls用来显示文件夹下的文件信息，more用来翻页，而 | 就可以把前一个的结果作为输入传递给 more。

原创 大数据的特点

如rm file.txt.他会给出一个提示，让用户确认（输入yes）之后再删除。3.cd命令，用来进入指定的目录 cd etc====用鼠标双击etc这个文件夹。3.mkdir-p命令：创建目录，如果父级目录不存在，就建立一个父级目录。mkdir-p aaa/bbb确保父目录名称存在，不存在就建立一个。单机时代，大数据时代—分布式处理（磁盘），实时大数据时代（内存）大量，高速，多样（结构化数据和非结构化数据），低价值密度，2.ll-a命令，显示当前目录下的文件，包括隐藏文件。

原创 虚拟机的安装配置

虚拟机的安装。

原创 scala的泛型1

【代码】scala的泛型1。

原创 scala的泛型2

【代码】scala的泛型2。

原创 隐式转换2

【代码】隐式转换2。

原创 隐式类（函数的默认参数值）

【代码】隐式类（函数的默认参数值）

原创 隐式转换1

【代码】隐式转换1。

原创 正则表达式

【代码】正则表达式。

原创 变量声明应用题

CA。

原创 scala的守卫语句格式

【代码】scala的守卫语句格式。

原创 scala模式匹配

【代码】scala模式匹配。

原创 Scorce应用例题（成绩排名）

姓名，语文，数学，英语。张伟，87，92，88。李娜，90，85，95。王强，78，90，82。赵敏，92，88，91。孙涛，85，82，89。周梅，88，87，93。吴刚，80，85，86。郑洁，91，89，94。陈晨，83，84，88。林峰，86，91，87。

原创 全文单词统计

【代码】全文单词统计。

原创 Scala的字符串

【代码】Scala的字符串。

原创 Array相关题

CBBBB。

原创 Scala的Array

【代码】Scala的Array。

原创 迭代器选择题

CCBBB。

原创 scala迭代器

【代码】scala迭代器。

原创 scala的case class题

【代码】scala的case class题。

原创 Scala的case class

【代码】Scala的case class。

原创 scala的list

【代码】scala的list。

原创 Scala的Map集合

【代码】Scala的Map集合。

原创 scala的Set集合

scala的Set集合是没有重复的对像集合，所有元素都是唯一的。Scala的Set分为可变和不可变的，默认情况下使用不可变的集合。Scala的集合分为 可变 的和 不可变 的两种。

原创 scala的包及其导入

原创 scala 的访问权限

/private 可以 可以 不可以 不可以。//protected 可以 可以 不可以 不可以。//无修饰符 可以 可以 可以 可以。

原创 scala解决空指针异常问题

【代码】scala解决空指针异常问题。

原创 Scala的trait(1)

trait的加载顺序。

原创 Scala的内部类

【代码】Scala的内部类。

原创 抽象的类与内部类

【代码】抽象的类与内部类。

原创 scala的继承（1）

1.在原有类的基础上定义一个新类，原有类称为父类，新类称为子类。

原创 Scala的高阶函数（2）

【代码】Scala的高阶函数（2）

原创 Scala函数的进阶

Scala的函数的闭包。

原创 Scala链式风格函数

/this.type是返回值类型。//this 就是当前对象。

原创 scala的递归函数

记： 0 1 1 2 3 5 8 13 21 34 ...从第三项开始f（n）=f(n-）+f(n-2)* 1.基本情况（直接能求的）：f（1,"A","B","c"),可以直接求，从A----->C.* 2.递归情况（大事化小，自己调用自己）：f（n）=f(n-1)+f(n-2)* 2.递归情况（大事化小，自己调用自己）：f（n）=f(n-1)*n。* 2.递归情况（大事化小，自己调用自己）f（n）=f(n-1)+n。* 记：f(n)=1*2*3*4*...*(n-1)*n。