- 博客(38)
- 收藏
- 关注
RSS订阅原创 mapreduce的工作原理
**分区（Partitioning）**：根据 key 的哈希值决定数据发送到哪个 Reduce 任务。- **Combiner（可选）**：本地 reduce，减少网络传输量。- **排序（Sorting）**：每个分区内的数据按键排序。- **数据本地性优化**：优先在存储数据的节点上执行任务。- **Map 阶段**：处理输入数据并生成中间键值对。- **Reduce 阶段**：对中间结果进行汇总处理。- **数据从 Map 端拷贝到 Reduce 端**
2025-03-31 19:33:58
418
原创 Hadoop集群常用命令
启动所有Hadoop服务。# 停止所有Hadoop服务。# 列出所有运行中的应用程序。# 查看MapReduce作业状态。## MapReduce作业命令。# 检查YARN节点状态。2. **文件权限和所有权**# 查看集群资源使用情况。# 提交MapReduce作业。1. **平衡HDFS数据**1. **启动/停止集群**# 检查HDFS一致性。2. **检查集群状态**# 检查HDFS状态。# 检查集群健康状态。1. **基本文件操作**# 查看应用程序日志。2. **检查文件系统**
2025-03-31 19:31:38
493
原创 finalshell的配置
我们在从本机开始去连接虚拟机时，都是通过ip地址来连接的，不方便。我们可以通过hostname的方式来访问。ping hadoop100或者是ping 192.168.10.100都应该可以通。5. 找到刚才建立的连接，点击连接。主机：192.168.10.100，或者是配置hosts之后的主机名。1. 点击开始安装，安装到D盘。安装目录没有中文，没有空格。输入对应主机的用户名密码。2. 启动finalshell，新建。这个文件是一个没有后缀名的文本文件。1. 修改hosts文件。来，我们一起操作一下。
2025-03-07 09:26:49
352
原创 linux常见操作命令
ls命令可以查看文件夹下的文件信息，如果某个文件夹下的文件特别多，使用ls命令时，就只能显示后面一部分文件信息，那如果我们希望查看全部的文件信息，要怎么办呢？因为在linux下，我们要去下载安装新的软件时就需要用到它：下载下来的软件大多都是.tar格式，而安装的过程就是解压缩。会把111写入a.txt这个文件中，把之前的内容删除掉。但是，在linux里，这不能使用鼠标操作，需要用到显示文件的命令。ls 用来显示文件夹下的文件信息，more用来翻页，而 | 就可以把前一个的结果作为输入传递给more。
2025-03-03 19:32:58
293
原创 vi常见操作命令
命令模式：在这个模式下，所敲的按键编辑器都理解为命令，以命令来驱动执行不同的功能。当我们通过VI命令第一次打开文件的时候，进入的就是命令模式。vi编辑器有三种工作模式，分别是命令模式，编辑模式，底线模式。（2）按下o：进入到编辑输入模式后，在当前行的后面添加一行空行（当前行的下一行）2. 如果文件已经存在，此时就打开这个文件，进入命令模式。从命令模式切换到底线命令模式，输入: 进入底线命令模式。（1）按下i： 进入编辑模式，定位到当前光标前面。（3）在输入模式下，按下ESC退回到命令模式。
2025-03-03 19:30:17
173
原创 配置虚拟机IP
linux中，ip地址是写在配置文件（/etc/sysconfig/network-scripts/ifcfg-ens33）中，这里使用 vi 编辑器去修改即可！如果不进行设置，每次启动机器时都可能是随机的IP，不方便我们后续操作。命令如下：vi /etc/sysconfig/network-scripts/ifcfg-ens33。注意:这里的第三个部分的10并不是固定的，我们自己可以约定，但是约定之后就要固定下来。让所有的vm配置的虚拟机使用NAT时，它们的网段都是一致的。（3）设置虚拟机的IP。
2025-03-03 19:26:58
374
原创 安装配置虚拟机教学
虚拟机安装配置对新手来说还是太吃操作了，有没有更简单的方法推荐一下，有的兄弟，有的，现在我来推荐一套更简单快捷的操作。问下在此处可以找到分享文件：finalshell_install.exe等链接：https://pan.xunlei.com/s/VOJXe-jE0YiFoh1EdnaJDyxhA1#提取码：5yex复制这段内容后打开迅雷，查看更方便需要用到以下1. CentOS-7-x86_64-Minimal-2009.iso ： linux安装文件。用来安装系统。
2025-02-20 17:21:28
458
原创 Scala中的泛型
List是数据类型，表示一个列表。[Int]表示泛型，它约定列表中每一个元素都是Int类型。2.泛型在编译时生效，在运行不可见，最后产生的class文件中是没有泛型的。(2) 名称合法就行，没有固定的，一般用T(Type)在Scala中，用[]表示。在Java中用<>表示。类型参数 ---- 泛型(数据类型是变化的)1. 与数据类型的区别。
2024-12-12 08:36:26
457
原创 Scala正则表达式02
a+` 可以匹配 `a`、`aa`、`aaa` 等，但不能匹配空字符串；例如，`a` 匹配字符 `a`，`[abc]` 匹配 `a`、`b` 或者 `c` 中的任意一个字符，`[a-z]` 匹配从 `a` 到 `z` 的任意一个小写字母。例如，`(ab)+` 表示 `ab` 这个组合至少出现1次，如 `ab`、`abab`、`ababab` 等符合要求。例如，`^` 表示匹配行首，`$` 表示匹配行尾。`^abc` 表示匹配以 `abc` 开头的行，`abc$` 表示匹配以 `abc` 结尾的行。
2024-12-03 16:17:01
468
原创 Scala的Array多维数组
最典型的多维数组就是二维数组，类似于表格。从一维数组转化得来：数组. grouped ()直接定义：Array.ofDim (x,y)
2024-11-19 15:05:30
596
原创 Scala中的迭代器
无论底层集合的具体结构如何，只要能获取到迭代器，就可以使用相同的hasNext和next方法来遍历元素。zip方法用于将两个迭代器的元素按顺序组合成一个新的迭代器，其中每个元素是一个包含两个迭代器对应位置元素的元组。如果两个迭代器的长度不同，zip操作会在较短的迭代器耗尽时停止。迭代器采用延迟计算的方式，它不会将整个集合加载到内存中，而是在每次调用next方法时才计算并返回下一个元素。返回一对迭代器，它们可以独立遍历原始迭代器中的元素序列。take 只处理当前开始的，指定数量的元素，返回一个新的迭代器。
2024-11-12 18:02:06
630
原创 Scala的包的导入
在Scala中显示导入包使用import关键字。假如m包下有A,B,C三个类，如果想要导入m包下所有类，使用import m._；如果只需要导入m包中的A类，使用import m.A；如果想导入A和B两个类，使用import m.{A,B}。
2024-11-05 14:35:47
304
原创 Scala如何求1+2......+n的和
记：f(n) = 1+2+3+4+...+(n-1)+n。2、递归情况（大事化小）：f(n) = f(n-1)+n。1、基本情况（直接能求和的）：f(1) = 1。
2024-10-15 11:54:12
349
原创 用Scala求斐波那契数列的第n项
记： 0 1 1 2 3 5 8 13 21 34 55 ... 从第3项开始 f(n) = f(n-1) + f(n-2)2.递归情况（大事化小，自己调用自己）： f(n) = f(n-1) + f(n-2)1.基本情况（直接能求的）：f(0) = 0,f(1) = 1。问题：求 斐波那契数列的第n项。
2024-10-07 23:05:35
327
原创 Scala递归中求汉罗塔游戏的步骤
1.基本情况(直接能求的)：f(1,"A","B","C"),可以直接求，从A ---->C。记：f(n,"A","B","C")表示n个盘子从A柱子上移动到C柱子上，借用B柱子的过程。f(要移动的盘子的个数，起点，辅助柱子，终点)
2024-09-29 18:01:29
529
原创 Scala的伴生类和伴生对象
当同名的类和单例对象在同一个源码文件中时，这个类称为单例对象的伴生类，对象称为类的伴生对象，这两者是相互的。注意：①必须同名②必须在同一个源码文件中。
2024-09-25 09:23:38
362
原创 Scala的单例对象
1、不是一个类型：通过object关键字创建的是一个对象，不是一个类型。2、不能使用new关键字：声明单例对象时不可以使用new关键字。3、不能传递参数：单例对象无法传递参数。对象.属性 或 对象.方法()是声明单例对象的关键字。
2024-09-24 17:25:11
226
原创 Scala的if语句
如果布尔表达式为true，则会吧表达式1的值赋值给变量a。如果布尔表达式为false，则会吧表达式2的值赋给变量a，即布尔表达式为true，a=表达式1，否则，a=表达式2。Scala与Java的if语句的主要不同点在于是否有返回值。Java中的if语句没有返回值，而Scala中的if语句是有返回值的。
2024-09-18 22:12:21
295
原创 Scala大数问题
每一种整数都有自己的表达范围。具体可以通过类型MaxValue来查看，如下。解决方法：BigInt(数字字符串)一旦超过了这个范围就会报错。
2024-09-10 15:32:08
510
原创 Scala的算术运算符和关系运算符
运算符 描述 实例+ 加号 A+B的运算结果为30- 减号 A-B的运算结果为-10* 乘号 A*B的运算结果为200/ 除号 A/B的运算结果为2% 取余 A%B的运算结果为0。
2024-09-09 19:54:57
383
原创 Scala的lazy变量
打开Windows命令控制台，输入scala进入Scala编译器。用val声明一个变量并赋值。lazy变量加入时不会生效，使用时才会生效。使用lazy修饰变量。
2024-09-03 17:14:41
311
1
原创 1分钟教你用Scala写HelloWorld
在一个磁盘中创建一个文件夹，然后在其中创建文本文档，将文件拓展名改为scala。进入cmd先编译后运行。
2024-09-03 16:12:05
281
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人