2302_81531444的博客

原创 Spark，所用几个网页地址

History Server网址：192.168.56.100:18080。1. HDFS：存储。3. YARN：调度。

原创 Spark，集群搭建之Yarn模式

对应命令为：spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster /opt/module/spark-standalone/examples/jars/spark-examples_2.12-3.1.1.jar 10。进入/opt/module/spark-yarn/sbin，运行： ./start-all.sh 和 ./start-history-server.sh。

原创 Spark，配置历史服务

配置历史服务一、停止任务进入/opt/module/spark-standalone/sbin， 运行命令：二、修改配置进入 /opt/module/spark-standalone/conf/spark-default.conf.temple 先把名称改成spark-default.conf，再补充两个设置。如下所示。

原创 Spark，集群搭建-Standalone

集群搭建-Standalone一、解压在之前的学习中我们有了一个软件包 spark.3.1.2-bin-hadoop3.2.tgz （eg我的在 /opt/software目录下）把这个软件包解压到 /opt/module 下（也可以自己决定解压到哪里）。对应的命令是：二、重命名进入 /opt/module/ 把解压的内容右键重命名一下为 spark-standalone ，也可使用命令：三、配置环境变量,更新spark路径。

原创 Spark和hadoop的区别与联系

组合使用：实际场景中常采用“Hadoop存储数据 + Spark处理数据”的架构，充分利用两者的优势，例如在HDFS上存储原始数据，通过Spark进行实时分析和复杂计算。存储层：Spark可直接读取Hadoop的分布式文件系统（HDFS）中的数据，利用HDFS的高容错性和扩展性实现数据存储。总之，Hadoop是大数据领域的“地基”，而Spark是构建在其上的“多功能工具”，两者共同推动了大数据技术的发展和应用。均旨在解决大规模数据的分布式处理问题，提升数据处理效率，降低企业处理海量数据的成本。

原创 Spark，IDEA编写Maven项目

在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”。这里的dependencies要这一步中的hadoop-client要和我们前面客户端准备中下载的hadoop保持一致。这些文件都是我们老师帮我们在网上找了改动后给我们的，大家可自行在网上查找。3.创建包为org.example，并在下面创建Main类。1.在之前创建的pom.xml文件中添加下列代码。IDEA中编写Maven项目。3.IDEA中配置Maven。编写代码测试HDFS连接。

原创 Spark， MapReduce工作原理

是 Hadoop 用于分布式计算的编程模型。

原创 Spark，hadoop 集群的常用命令

hadoop jar <JAR文件路径> <主类名> <输入路径> <输出路径>：提交一个 MapReduce 作业。hdfs dfs -rm <路径>：删除指定路径下的文件或目录，若要删除目录，需使用-r选项，如hdfs dfs -rm -r <目录路径>。put '<表名>', '<行键>', '<列族:列限定符>', '<值>'：向指定表的指定行键插入数据。hdfs dfs -cp <源路径> <目标路径>：将文件或目录从源路径复制到目标路径。drop '<表名>'：删除指定的表（需先禁用）。

原创 Spark，集群搭建之Yarn模式

对应命令为：spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster /opt/module/spark-standalone/examples/jars/spark-examples_2.12-3.1.1.jar 10。进入/opt/module/spark-yarn/sbin，运行： ./start-all.sh 和 ./start-history-server.sh。

原创 Spark，HDFS客户端操作

找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\hadoop-3.1.0）在下方系统变量中新建HADOOP_HOME环境变量,值就是保存hadoop的目录。打开电脑终端验证Hadoop环境变量是否正常。hadoop客户端环境准备。配置Path环境变量。Maven的配置同上。

原创 Spark，HDFS概述

把本地的文件上传到HDFS,并删除本地的文件。(1)文件上传 HDFS 的时候，Client 将文件切分成一个一个的 Block，然后进行上传；使用-rm -r命令， 它用来删除目录及目录里面内容，它的格式是： -rm -r 要删除的文件夹。使用-mkdir命令。使用-mv命令，它的格式是： hadoop fs -mv 文件起点 终点。hadoop fs -get （服务器上的文件路径 本地文件路径)表示从HDFS的一个路径拷贝到HDFS的另一个路径。2.如果要保留本地的文件，可以使用 -put 命令。

原创 Spark，配置hadoop集群2

启动命令：[root@hadoop100 sbin]# myhadoop start。关闭命令：[root@hadoop100 sbin]# myhadoop stop。分配完成后可在其他设备上关闭myhadoop。像下图这样查看显示绿色即代表成功！保存后退出，然后赋予脚本执行权限。

原创 Spark，配置hadoop集群1

启动命令：[root@hadoop100 sbin]# myhadoop start。关闭命令：[root@hadoop100 sbin]# myhadoop stop。分配完成后可在其他设备上关闭myhadoop。像下图这样查看显示绿色即代表成功！保存后退出，然后赋予脚本执行权限。

原创 Spark，上传文件

在NameNode上上传<128M文件时可直接上传当文件>128M时会将这个大文件拆分为多个小文件上传。在FinalShell上用命令上传文件就是。先使用命令打开HDFS的NameNode。上传的文件下载下来…2.在yarn上查看上传的文件。上传小文件（小于128M）上传大文件（大于128M）刷新yarn即可查看。

原创 Spark,从0开始配置Spark的local模式

4.重命名，把解压后的文件夹改成spark-local。因为后续我们还会使用其他的配置方式，所以这里先重命名一次。mv是linux的命令，1.打开etc/profile.d/my_env.sh文件中，补充设置spark的环境变量。2.通过finalshell连接虚拟机，并上传安装文件到 /opt/software下。进入到spark-local，运行命令spark-submit命令。3.解压spark安装文件到/opt/module下。注：一旦任务结束，则这个界面就不可访问了。出现下列就是对的，成功了。

原创 Spark，数据压缩

四、打开我们之前的项目（是下面这个哦）在下面位置添加下下面代码然后在第七点上面添加注意：第六点要注释哦。

原创 Spark，序列化反序列化

通过文件输入流读入文件，并使用ObjectInputStream来进一步实例化对象，然后调用readObject来生成对象。序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。常用的Java的数据类型与Hadoop的序列化的类型对比。新建文件输出流对象，并写入要实例化的实例。

原创 Spark，maven打包

一、maven打包1.maven打包MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序（例如：jar包），并发运行在一个Hadoop集群上。在pom.xml中，补充如下配置，它用来设置打包的java 版本。注：我们集群上安装的java环境是1.8的，那么我们生成的代码也必须是这个版本的，否则，就会无法运行。

原创 Spark，流量统计案例

拥有一个文件，其中文件内容(内容随便写符合规矩即可)分别为电话号码 上行流量 下行流量(第一行是写给大家看的 注释不用写出来)

原创 Spark；修改配置文件，启动集群，查看运行结果，纠错

可以在 hadoop100 节点上使用 netstat -an | grep 9870 和 netstat -an | grep 50070 命令查看端口的监听情况。若集群是第一次启动，需要在hadoop100节点（指定为namenode的节点）格式化NameNode（注意：格式化NameNode，会产生新的集群id）则说明：该服务可以接受来自任何 IP 地址的连接请求，Hadoop 的 NameNode（默认在 9870 端口提供服务）已经正常启动并监听端口。如果对应的进程存在，就说明服务已经成功启动。

原创 Spark，hadoop的组成

（1）NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。每个框都是一个进程，可能都运行在一台主机上，但是，属于不同的集群。对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来保存文件，可以使用提供强大的计算能力。在Hadoop3.X中，hadoop一共有三个组成部分：MapReduce，Yarn，HDFS。Yarn和HDFS的关系说明：逻辑上分离，物理上在一起。

原创 Spark；scp命令，rsync命令，ssh命令

伪分布式：也是在一台单机上运行，但用不同的 Java 进程模仿分布式运行中的各类节点，特点：Hadoop 启动的这些守护进程都在同一台机器上运行，是相互独立的 Java 进程。eg命令：scp -r /opt/module/jdk1.8.0_212/ root@hadoop102:/opt/module/jdk1.8.0_212/命令：rsync -av /opt/conf/1.txt root@roothadoop102:/opt/conf/$pdir/$fname ：要拷贝的文件路径 / 名称。

原创 Spinu Linux克隆

查看虚拟机ip命令：ip addr克隆出多台虚拟机一、克隆具体步骤如下：（1）关闭hadoop100这台虚拟机。注：克隆一定是在主机关机的情况下才能对其进行克隆（2）在它身上右键，并选择管理 → 克隆 命令在设置时，请注意两点：（1）要给其他两台虚拟机取不同的名字。例如hadoop101,hadoop102等等。要注意，这里是虚拟机的名称，而不是它的hostname。（2）要将这两台克隆出来的虚拟机hadoop100保存在同一个磁盘目录下，方便我们统一管理。

原创 配置yum

工具，用来从网络上下载安装软件到CentOS操作系统中。先要确保虚拟机的网络是通畅的。使用vi修改之后，:wq保存退出，我这里改成了hadoop100，大家可以自行修改。它其实是去修改了centos-base.repo这个文件。（yum 修改阿里云）通过yum repolist 命令可以去查看当前的供货商信息。（4）安装rsync。重新启动虚拟机（命令是：reboot）才能生效！yum中的源是指它从哪里去下载软件。（三）修改本机名并配置hosts。它是一个增强版的vi编辑器。再清空缓存，让配置生效。

原创 Spark，Linux配置

这里要注意一下：VMware net work Adpater VMnet8是安装了Vm这个软件之后会自动产生的。地址用来通信，我们要把多台虚拟机设置为一个集群来工作，就必须给他们配置相同网段的IP地址。注意:这里的第三个部分的10并不是固定的，我们自己可以约定，但是约定之后就要固定下来。如果不进行设置，每次启动机器时都可能是随机的IP，不方便我们后续操作。（1）配置的目的是让自己的虚拟机可以联网！命令是reboot，检查是否能Ping通外网。让所有的vm配置的虚拟机使用NAT时，它们的网段都是一致的。

原创 安装VM和Centos

安装VM安装VM。

原创 Spark ，虚拟机（Linux）基本命令（2）

cp 命令，复制格式：cp 源文件 目标文件cp -r 命令 复制目录格式：cp -r 源文件 目标文件夹mv 命令，重命名和移动格式：mv 源文件 目标文件说明：若源文件和目标文件在同一个目录下，就是重命名，否则就是移动。重命名操作：mv file.txt newfile.txt移动操作：mv file.txt newdir/file.txt。

原创 sprak vi的基本使用

1.如果这个文件不存在，此时就是新建文件，编辑器的左下角会提示：new file。d(一个小d)加←删除左侧一个单词，d(一个小d)加→删除右侧一个单词。vi编辑器有三种工作模式，分别为：命令模式，输入模式，底线模式。2.如果文件已存在，此时就打开这个文件，进入命令模式。底线命令模式：以：开始，通常用于文件的保存和退出。2.nyy(n+两个小y)复制当前行往下n行内容。2.ndd(n+两个小d)用来删除当前行往下n行。nyy(n+两个小y)复制当前行往下n行内容。1.yy（两个 y）复制光标所在行的内容。

原创 Spark ，虚拟机（Linux）基本命令（1）

波浪线，当前用户的home目录，比如root用户home目录是/root。rm -rf ./bbb 将目录及以下所有递归逐一删除，无需用户确认。相对路径：当前相对当前工作目录开始的路径，会随着当前路径变化而变化。rm -rf /* 将根目录及以下所有递归逐一删除，无需用户确认。mkdir -p：创建目录，如果父级目录不存在，就建立一个新目录。删除文件无需用户确如 rm -f ＋文件名 （慎用！ll -a 命令，显示当前的目录下的文件，包括隐藏文件。ll 命令，用来显示当前的目录下的文件。

原创 spark

特点：提高处理能力：通过将任务分散到多个节点上并行计算，能够大大提高数据处理的速度和效率，从而可以在短时间内处理海量数据，满足大数据时代对数据处理的实时性和高效性要求。1.硬件资源有限：单机系统的计算能力、存储容量和内存空间都受限于单台计算机的硬件配置。1.无法处理大规模数据：随着业务的发展和数据量的增长，单机系统很快就会遇到存储和处理能力的瓶颈，无法应对海量数据的存储和分析需求。3.应用场景简单：主要用于个人办公、简单的游戏娱乐或小型企业的基本业务处理，如文字处理、单机游戏、简单的库存管理等。

原创 Scala-图书管理系统

service:业务逻辑，调用DAO。models：模型(操作文件，表示层UI:用户直接操作，调用。附件：师承B站@凡友福 老师。

原创 Scala学习记录 如何打印输出

例如，object FileIO { def main(args: Array[String]) { val in = Source.fromFile("d://data/output.txt") for (line <- in.getLines) println(line) }将打印文件d://data/output.txt的内容。这些方法在Java中也有对应的方法，print()方法用于打印字符串，而println()方法用于打印字符串并换行。例如，println("Hello, World!

原创 Scala——身份证号码查询籍贯

case "15" => "内蒙古"case "23" => "黑龙江"case "11" => "北京"case "12" => "天津"case "13" => "河北"case "14" => "山西"case "21" => "辽宁"case "22" => "吉林"case "31" => "上海"case "32" => "上海"case "33" => "浙江"case "34" => "安徽"case "35" => "福建"case "42" => "湖北"

原创 Scala-异常

case e:异常类型1 => 处理逻辑1。case e:异常类型2 => 处理逻辑2。无论是否有异常发生，都会做的事情。发生异常之后的处理逻辑。

原创 Scala学习记录

IDEA中 CodeGeedx: AI Coding……业务逻辑层( service )：处理系统的业务规则和业务流程。数据访问层( dao )：主要负责与数据存储系统。调用Service层。表示层：用户直接与之交互的层。

原创 学习记录，函数变参

原创 Scala学习记录 递归调用 练习

斐波那契：

原创 Scala学习记录

原创 Scala学习记录

dao --------> 数据访问mode ------> 模型service ---->业务逻辑Main -------> UI:用户直接操作，调用Service改造UI层：

原创 Scala学习记录 泛型的边界 异常

1.上界（Upper Bounds）：2.下界（Lower Bounds）3. 视图边界（View Bounds） 4.上下文边界（Context Bounds）