2402_87076376的博客

原创 Spark，流量统计案例

拥有一个文件，其中文件内容(内容随便写符合规矩即可)分别为电话号码 上行流量 下行流量(第一行是写给大家看的 注释不用写出来)提前创好一个文件夹分为四个类。

原创 Spark，HDFS客户端操作 2

这一小结，我们来通过hadoop的相关api，实现通过代码的方式去创建文件夹。我们的目标是：在根目录下去创建一个名为maven的文件夹。要用到的api是fs.mkdirs。运行后我们可能会遇到一个错误：此时，需要去设置登录的用户名。然后再去尝试。去到hdfs的UI界面上去检查是否运行成功。

原创 Spark，IDEA编写Maven项目

在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”。这里的dependencies要这一步中的hadoop-client要和我们前面客户端准备中下载的hadoop保持一致。这些文件都是我们老师帮我们在网上找了改动后给我们的，大家可自行在网上查找。3.创建包为org.example，并在下面创建Main类。1.在之前创建的pom.xml文件中添加下列代码。IDEA中编写Maven项目。3.IDEA中配置Maven。编写代码测试HDFS连接。

原创 Spark， MapReduce工作原理

MapReduce 是 Hadoop 用于分布式计算的编程模型。

原创 Spark，hadoop 集群的常用命令

【代码】Spark，hadoop 集群的常用命令。

原创 Spark，HDFS客户端操作

找到资料包路径下的Windows依赖文件夹，拷贝。打开电脑终端验证Hadoop环境变量是否正常。,值就是保存hadoop的目录。hadoop客户端环境准备。adoop-3.1.0到。Maven的配置同上。

原创 Spark，HDFS概述

当 NameNode 挂掉的时候，它并不能马上替换 NameNode 并提供服务。(1) 辅助 NameNode，分担其工作量，比如定期合并 Fsimage 和 Edits，并推送给 NameNode；(1)文件上传 HDFS 的时候，Client 将文件切分成一个一个的 Block，然后进行上传；(4) Client 提供一些命令来管理 HDFS，比如 NameNode 格式化；命令，它的格式是： hadoop fs -mv 文件起点 终点。(2)与 NameNode 交互，获取文件的位置信息；

原创 Spark，配置hadoop集群2

编写Hadoop集群启停脚本1.建立新文件，编写脚本程序在hadoop101中操作，在/root/bin下新建文件：myhadoop。

原创 Spark，配置hadoop集群1

同样也是在hadoop100内找到yarn-site.xml文件，我们添加如下的配置。和之前的配置一样，我们需要把这个更新之后的yarn-site.xml文件。你在配置的时候指定哪个节点是历史服务器，就在哪里启动，请不要搞错了。在hadoop的安装目录下，打开mapred-site.xml，并。关闭掉yarn和historyServer，然后再重启。点击对应的JobID，就可以进一步查看任务运行日志。然后在点击logs，就可以查看运行日志的详情了。进入到我们安装yarn的主机，通过命令来。

原创 Spark，上传文件

在FinalShell上用命令上传文件就是。上传的文件下载下来…时会将这个大文件拆分为多个小文件上传。文件时可直接上传当文件。NameNode上上。随机创建一个小文件在。刷新yarn即可查看。

原创 Spark；修改配置文件，启动集群，查看运行结果，纠错

接下来配置第二个文件，/opt/module/hadoop-3.1.3/etc/hadoop。当前要操作的文件是：/opt/module/hadoop-3.1.3/etc/hadoop。则说明：该服务可以接受来自任何 IP 地址的连接请求，Hadoop 的。配置/opt/module/hadoop-3.1.3/etc/hadoop。配置/opt/module/hadoop-3.1.3/etc/hadoop。同步给其他的机器，并使用source命令，让环境变量生效！解决办法：使用命令确认一下。

原创 Spark，hadoop的组成

（1）NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。Yet Another Resource Negotiator，简称YARN，另一种资源协调者，是Hadoop的资源管理器。每个框都是一个进程，可能都运行在一台主机上，但是，属于不同的集群。对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来。个组成部分：MapReduce，Yarn，HDFS。

原创 Spark；scp命令，rsync命令，xsync同步，ssh命令

eg命令：scp -r /opt/module/jdk1.8.0_212/ root@hadoop102:/opt/module/jdk1.8.0_212/命令：rsync -av /opt/conf/1.txt root@roothadoop102:/opt/conf/eg：目标：hadoop100通过ssh访问hadoop101,hadoop102时不需要密码，其他两台设备也类似。此时，我们去查看文件，可以看到它的颜色是灰色的，不具备执行权限（如下图）。这个部分的代码不需要会写，能看懂，了解即可。

原创 Spark，Linux克隆

查看虚拟机ip命令：ip addr克隆克隆出多台虚拟机。

原创 Spark，Linux yum配置

把yum想象成你自己开的一家商场，那么yum的源就是你的供货商。这个源已经失效了，就是你的默认供货商跑路了！如果是win11，它在Windows/system32/hosts 文件，如果是win10，它在C:\Windows\System32\drivers\etc\hosts。我们打开这个文件，并在最后一行的后边，添加三个新行，内容是：IP地址 主机名 eg：192.168.56.101 hadoop100（注：IP地址和主机名之间有一个空格）网络上的免费而稳定的源有很多，这里我们选择阿里云的源。

原创 Spark，Linux配置

这里要注意一下：VMware net work Adpater VMnet8是安装了Vm这个软件之后会自动产生的。注意:这里的第三个部分的10并不是固定的，我们自己可以约定，但是约定之后就要固定下来。命令是reboot，检查是否能Ping通外网。让所有的VM配置的虚拟机使用NAT时，它们的网段都是一致的。eg：修改打开的文件内容为: hadoop100。修改完成之后，esc退出编辑模式， :wq 保存退出。配置即让自己的虚拟机可以联网，和别的虚拟机通讯。进入虚拟机，修改对应的IP。

原创 安装VM和Centos

安装VM。

原创 Spark，vi的基本使用

1.如果这个文件不存在，此时就是新建文件，编辑器的左下角会提示：new file。d(一个小d)加←删除左侧一个单词，d(一个小d)加→删除右侧一个单词。vi编辑器有三种工作模式，分别为：命令模式，输入模式，底线模式。2.如果文件已存在，此时就打开这个文件，进入命令模式。底线命令模式：以：开始，通常用于文件的保存和退出。2.nyy(n+两个小y)复制当前行往下n行内容。2.ndd(n+两个小d)用来删除当前行往下n行。nyy(n+两个小y)复制当前行往下n行内容。1.yy（两个 y）复制光标所在行的内容。

原创 Spark ，虚拟机（Linux）基本命令（2）

cp 命令，复制格式：cp 源文件 目标文件cp -r 命令 复制目录格式：cp -r 源文件 目标文件夹mv 命令，重命名和移动格式：mv 源文件 目标文件说明：若源文件和目标文件在同一个目录下，就是重命名，否则就是移动。重命名操作：mv file.txt newfile.txt移动操作：mv file.txt newdir/file.txt。

原创 Spark ，虚拟机（Linux）基本命令（1）

当前路径：也叫做当前工作目录是当下用户所处的位置。~波浪线，当前用户的home目录，比如root用户home目录是/root。相对路径：当前相对当前工作目录开始的路径，会随着当前路径变化而变化。绝对路径：不管工作目录在哪绝对路径都是从/根目录开始，唯一不重复。mkdir -p：创建目录，如果父级目录不存在，就建立一个新目录。ll -a 命令，显示当前的目录下的文件，包括隐藏文件。mkdir 命令：创建目录。ll 命令，用来显示当前的目录下的文件。.. 命令，当前目录的上一级目录。如rm -r +文件名。

原创 Spark (1)

特点：1.硬件资源有限：单机系统的计算能力、存储容量和内存空间都受限于单台计算机的硬件配置。例如早期的个人电脑，通常只有几百兆的内存和几 GB 的硬盘空间。2.数据处理能力有限：主要处理本地产生的小规模数据，数据量一般在 MB 级别到 GB 级别之间。如单机版的财务软件，只处理一个小型企业内部的少量财务数据。3.应用场景简单：主要用于个人办公、简单的游戏娱乐或小型企业的基本业务处理，如文字处理、单机游戏、简单的库存管理等。

原创 大数据技术 指令笔记1

Is -I*con* 列出当前目录下名称中有“con"文件或目录的详细信息。Is -a 列出包括以“.”开始的隐藏文件在内的所有文件。cd /etc/sysconfig/ 切换到/etc/sysconfig目录。■ -R：显示出目录下以及其所有子目录的文件名（包括了隐藏文件）■ -A:显示除隐藏文件“.”和“..”以外的所有文件列表；■ -d：仅显示目录名，而不显示目录下的内容列表。■ -l：以长格式显示目录下的内容列表。

原创 Scala思维导图

原创 学习记录……

原创 学习记录，递归调用 练习

斐波那契：

原创 学习记录，函数变参

原创 图书馆管理

IDEA中 CodeGeedx: AI Coding……业务逻辑层( service )：处理系统的业务规则和业务流程。数据访问层( dao )：主要负责与数据存储系统。调用Service层。表示层：用户直接与之交互的层。

原创 学习记录，异常

A. try 的中文是试一试，catch是捕获，finally是最后的。关于try catch finally 的说法正确的是（ D ）无论是否有异常发送，都会做的事情 //可选。C. 把是否有异常，finally 中的代码一定会执行。在scala中，1/0会导致如下什么异常（ C ）B. 把可能会出现异常的代码写在 try 中。异常如果不处理，会导致整个程序崩溃！D. catch 中不能获取具体异常信息。发生异常之后的处理逻辑。异常：不是正常的情况。

原创 学习记录，泛型界限1

如果给某个泛型设置了上界：这里的类型必须是上界。如果给某个泛型设置了下界：这里的类型必须是下界。对类型的更加具体的约束！

原创 学习记录，隐式对象，隐式类

要点：要有一个参数，就要待被转换的类型，返回的类型就是当前的类。格式：在class 的前面，添加implicit。格式：就是在对象前面加一个 implicit。隐式类 == 一个类 + 一个隐式转换函数。引入别的程序内的隐式转换，计算。作用：就是给函数当默认值！

原创 学习记录，泛型

定义格式：trait 特质名[泛型]使用格式：特质名[具体的类型]

原创 学习记录，隐式函数

需求：让字符串增加一个功能：isPhone() 检查当前字符串是否是一个合法的手机号。1. 在函数的默认参数的前面补充关键字：implicit。2. 在定义变量的前面 补充关键字：implicit。3. 调用函数式，不加（）

原创 学习记录，正则表达式， 隐式转换

eg：‘a’匹配字符‘a’，‘[abc]’匹配‘a’，‘b’，或者‘c’中的任意一个字符，‘[a-z]’匹配从‘a’到‘z’的任意一个小写字母。方括号表示字符类，用于匹配其中的任意一个字符。分组有多种用途，例如可以对分组应用量词，如(ab)+会匹配ab、abab、ababab等。例如\bcat\b匹配独立的单词cat，而不会匹配scatter中的cat部分。普通字符：在正则表达式中，大多数普通字符（如字母、数字等）匹配它们自身。^：匹配输入的开头。[^abc]匹配除a，b，c之外的字符，如d。

原创 学习记录，条件匹配

条件匹配在 Scala 中，条件匹配主要通过match表达式来实现，它类似于其他语言中的switch语句，但功能更强。

原创 Scala学习记录，统计成绩

eg：42湖北，33浙江，11北京，31上海。3.列出总分前三名和单科前三名，并保存结果到文件中。（1）计算每个同学的总分平均分。1.读入txt文件，按行读入。1.计算每个同学的总分和平均分。2.统计每个科目的平均分。（2）每个科目的平均分。

原创 Scala学习记录，全文单词统计

2.把字符串拆分成一个一个的单词。1.读取文件，得到很长的字符串。3.统计每个单词出现的次数。5.把结果写入到一个文件中。

原创 Scala学习记录，字符串

序列Seq表示有先后顺序的集合，保存数据集Set表示无序且不重复的集合映射Map表示键值对。

原创 Scala学习记录，Array

格式：数组名（下标）可变不可变：默认为不可变数组查看数组的元素。根据下标：格式 数组名(下标)下标从0开始如果超过最大的下标，会报错：.ArrayIndexOutOfBoundsException遍历用：for , foreach , iterator可变可对元素进行添加，删除等操作；不可变创建后元素不能修改如果要定义可变的Array，需要额外导入包小习一下：1.下面关于不可变数组说法正确的是?( B )A. 可以随时修改其元素的值。B. 可以改变其大小。

原创 Scala学习记录，case class，迭代器

方法创建的子迭代器是从原迭代器的开头开始，跳过指定数量的元素后包含剩余的元素。创建一个新的列表用于存储每个学生的平均成绩（三门课的平均绩），再创建该列表的选代器。的构造函数除了初始化数据外，还可能用于初始化可变的数据成员，并且可以在构造函数中进行复杂的初始化逻辑，如资源分配、数据库连接等操作。为学生列表创建迭代器，使用选代器的hasNext 和next方法遍历学生信息，打印每个学生的姓名。1.使用case class创建图书信息类Book：包含四个属性:ID，书名，作者，价格，数量。

原创 Scala学习记录，List

B. List的元素还是可以通过下标来修改的；前面学习的Set，Map数据是无序的；1.在 Scala中，关于不可变 List 和可变 List 的说法错误的是?D.默认的List 是不可变的。B. for 循环和 foreach 方法；D.合并两个列表中的元素，并消除重复的。4.创建1本图书对象并添加到可变 List的第3个位置；2.创建6本图书对象并添加到可变 List的尾部；3.创建1本图书对象并添加到可变 List的头部；A.添加元素到可变列表；C.创建一个新的 List；