- 博客(27)
- 收藏
- 关注
RSS订阅原创 Spark环境搭建-Local
Executor：不存在，没有独立的Executor角色, 由Local进程(也就是Driver)内的线程提供计算能力。转到$SPARK_HOME/bin目录，输入./pyspark，当出现一下界面说明启动成功。PYSPARK_PYTHON在Anaconda目录下的/bin/python3.12。我们可以在标记的地方看到一个地址，这个地址可以查看Driver的运行情况。在这里可以看到里面记录了一个任务就是刚刚进行数组元素加一的任务。将spark目录解压到/export/server目录下。
2024-08-21 20:29:55
1076
原创 Hive SQL语言
在查询过程中执行顺序：from > where > group（含聚合）> having >order > select；LOCATION：指定数据库在HDFS存储位置，默认/user/hive/warehouse/dbname.db。2. where子句在查询过程中执行优先级别优先于聚合语句(sum,min,max,avg,count)1. 聚合语句(sum,min,max,avg,count)要比having子句优先执行。要删除带有表的数据库（不为空的数据库），我们可以使用CASCADE。
2024-08-20 14:26:08
1282
原创 YARN集群部署
mapred-site.xml文件，添加如下配置信息(master改为ResourceManager主机）yarn-site.xml文件，配置配置一下属性(master改为ResourceManager主机）1.一键启动YARN集群：$HADOOP_HOME/sbin/start-yarn.sh。2.一键停止YARN集群：$HADOOP_HOME/sbin/stop-yarn.sh。在$HADOOP_HOME/etc/hadoop/文件夹内，修改。mapred-env.sh文件，添加如下环境变量。
2024-08-12 20:38:18
285
原创 使用VMware虚拟机部署hdfs集群
这个属性定义了 Hadoop 集群中文件系统的默认名称节点（NameNode）的地址。1.一键启动（ 前提：配置好机器之间的SSH免密登录和workers文件）: 这个属性指定了 DataNode 存储实际文件数据的位置。每个 DataNode 的主机名或 IP 地址应单独占一行。: 这个属性指定了 NameNode 存储元数据的位置。注：需要根据自己的配置在对应的位置上创建目录。是 NameNode 监听的端口号。也可以使用主机名，但需要配置映射关系。2.手动逐个进程启停。在NameNode上运行。
2024-08-11 16:36:35
424
原创 Linux MySQL相关练习
可以将school数据库备份，备份后会生成文件school.sql。在/etc/profile.d/mysql.sh下做如下配置。在/backup目录下使用命令。这时我们还需要一份依赖，使用。
2024-02-22 11:05:37
421
1
原创 Shell脚本小练习
(2) 如果参数1的值为bzip2，则使用tar和bzip2归档压缩/etc目录至/backups目录中，并命名为/backups/etc-20160613.tar.bz2；(1) 如果参数1的值为gzip，则使用tar和gzip归档压缩/etc目录至/backups目录中，并命名为/backups/etc-20160613.tar.gz；(3) 如果参数1的值为xz，则使用tar和xz归档压缩/etc目录至/backups目录中，并命名为/backups/etc-20160613.tar.xz；
2024-01-22 21:04:08
402
原创 nginx相关练习+nfs相关练习
2.给该公司创建三个子界面分别显示学生信息，教学资料和缴费网站，基于[www.openlab.com/student](http://www.openlab.com/student) 网站访问学生信息，[www.openlab.com/data](http://www.openlab.com/data)网站访问教学资料。（注意要用管理员身份打开）,添加如下信息。[www.openlab.com/money网站访问缴费网站](http://www.openlab.com/money网站访问缴费网站)。
2024-01-14 11:48:01
787
1
原创 RHCE：运用SSH实现两台LINUX主机之间的免密登录
使用ssh-copy-id命令将公钥复制到远程主机。ssh-copy-id会将公钥写到远程主机的 ~/ .ssh/authorized_key 文件中。注：如果只是想远程连接别的机器只需要安装openssh-cilent，如果要开放本机的SSH服务就需要安装openssh-server。想要使用SSH服务，首先需要安装openssh-client和openssh-server，可以使用命令。如图，服务是已经启动的。在使用ssh服务前，首先要确认服务是否开启。启动后就可以使用服务远程登录服务机了。
2024-01-11 15:06:34
473
1
原创 rhcsa
1、将 整 个 /etc 目 录 下 的 文 件 全 部 打 包 并 用 gzip 压 缩 成/back/etcback.tar.gz。1）写一个命令命为hello,实现的功能为每输入一次hello命令，就有hello，everyone写入文件/file.txt中。2）写一个命令别名为shuaxin,实现的功能为每输入一次该命令，file.txt文件的所有时间就更新为当前时间。2、查看 /back/etcback.tar.gz 文件中有哪些文件？4、当前用户永久生效的命令别名 ~/.bashrc。
2022-10-31 15:15:39
98
原创 RHCSA相关练习的代码
3.在/usr/local/etc下创建一个目录为mulu1，创建一个普通文件为wenjian1。4.创建目录/test/sysroot在该目录下创建三个文件a,b,c 之后再将sysroot目录移动到/tmp目录下改名为sys保证目录下三个文件也存在。8.在/dir下创建目录dir2和文件file1，移动文件file1到上面创建的test目录中，将目录dir2复制到test目录中。6.目录/tmp下创建4个目录，并在这四个目录下分别创建一个test目录。5.删除 /tmp/sys/a 文件。
2022-10-25 19:26:58
174
原创 【无标题】
homenamectl set-hostname www 永久更改主机名，开机之后也生效。#cat /etc/redhat -release 查看当前版本。是以只读的形式挂载的，所以要以可读可写的方式来挂载。长格式显示文件信息（文件基本属性 文件名）：-l。回到当前目录的上一级目录： cd ..直接回到当前用户的主目录： cd ~#pwd 打印正在工作目录的完整路径。显示目录下的文件包括隐藏文件：-a。显示文件的inode节点号：-i。显示指定目录的属性信息：-d。强制重置文件系统的上下文。
2022-10-22 18:53:39
273
原创 ACL,VLAN以及NAT相关知识整理
ACL ---- 访问控制列表 ACL的作用： 1，访问控制：在路由器流量流入或流出的接口上，匹配流量，然后 执行设定好的动作。 ---- permit 允许 , deny 拒绝 2，抓取感兴趣流：ACL可以和其他服务结合使用。ACL只负责匹配流 量，其他服务则对匹配上的流量执行对应的动作。 ACL的匹配规则：自上而下，逐一匹配，如果匹配上，则按照对应的动作 执行，不再向下匹配。 思科体系的设备：在ACL列表末尾隐含一条拒绝所有的规则 华为体系的设备：在ACL列表末尾隐含一条允许所有
2021-12-30 00:10:34
420
原创 HCIA综合大实验解析
因为划分了VLAN，所以有五个网段，因此需要向主机位借三位来进行子网划分。划分后的网段如下图：注：骨干网段只有两个接口，所以可以给个/30的网段，不用31的原因是主机位不能全是1或0给路由器配IP之前我们需要先给交换机分配VLAN。以LSW1为例：[lsw1]vlan 2[lsw1-vlan2]q[lsw1]port-group group-member GigabitEthernet 0/0/2 to g 0/0/3[lsw1-port-group]port link-..
2021-12-29 23:57:39
2051
原创 OSPF相关实验
先根据网络域划分网段（两条骨干链路，每台路由器各有一个环回接口，共六个网络域）骨干链路两条，需要向主机位借一位，但因为主机位不能全是1或0，再根据接口个数分析，需要向主机位借三位。开始划分网段。同时为了避免环路，要防止路由黑洞，因此需要设置空接口。R1R2R3R4接下来要按照题目将R1-3设为区域零，R3-4设为区域一。以R1为例[r1]ospf 1 router-id 1.1.1.1[r1-ospf-1]area 0 [r1-ospf...
2021-12-23 20:10:27
2048
原创 OSPF相关知识
选路佳，收敛快，占用资源少 1，因为RIP是依据跳数作为开销值进行选路的，所以，本身就存在不合理 性； 2，因为RIP的计时器时间较长，所以，收敛速度较慢； 3，RIP本身单个数据包占用资源并不大，但是，因为他存在30S一次的周 期更新，所以，从整体的角度看，占用资源较大； OSPF --- 开放式最短路由优先协议 1，OSPF使用SPF算法计算路径信息，不会出现环路，并且，OSPF使用带宽 作为开销值进行选路，相对更合理一些，所以，选路的层面优于RIP； 2
2021-12-20 12:36:20
126
原创 静态路由实验解析
第一题与第二题每个网段需要连接两个接口，所以需要向主机位借一位，但当只借一位时，配置IP时会发现主机位不是全1就是全0，属于特殊IP，所以需要借两位。R1--R4有四台路由器，每台路由器需要一段来进行环回接口的分配，还需要再加一，所以需要五个，借三位。在此基础上进行子网划分。并配置IP。R1R2R3R4R5第三题由于不能直接编写到达5.5.5.0/24的静态路由，所以需要用到缺省路由。每个设备都需配置。第四题手动汇总以减少路由条目的数量。上面配置的...
2021-12-14 16:26:19
2378
原创 HCIA笔记
<Huawei> --- 用户视图 --- 仅具有查看配置的权限，但是不能进行配置 操作 --- < > <Huawei>display ip interface brief --- 查看接口IP地址配置简表 <Huawei>system-view Enter system view, return user view with Ctrl+Z. [Huawei] ---- 系统视图 --- 具备配置全局类命令权限 --- [ ]
2021-12-13 15:45:43
103
原创 云计算前三节课笔记
IP地址的分类：A,B,C——单播地址——既可以做源地址也可以做目标IP D——组播地址——只能作为目标IP使用，不能作为源IP使用 E——保留地址注：单播——一对一 组播——一对多（同一个组播组） 广播——一对所有（广播域内的所有）A: 0XXX XXXX (0 - 127) 1 - 126B: 10XX XXXX 128 - 191C: 110X XXXX 192 -...
2021-12-09 12:56:25
115
原创 云计算第四天笔记
面向连接：在正式传输数据前，先通过预备好的协议，建立点到点的连接，之后在传输数据。URG：紧急标记位ACK：确认标记位SYN: 请求标记位FIN：结束标记位伪头部校验——32位源IP地址，32位目标IP地址，8位保留，8位协议，16位总长度——反码相加法TCP的三次握手TCP的四次挥手TCP传输可靠性的保障机制——确认，重传，排序，流控（机制）——滑动窗口机制TCP和IP都是可变长头部TTL——生存时间——当数据...
2021-12-08 23:56:10
97
原创 云计算1,2,3天学习笔记
IP地址的分类：A,B,C——单播地址——既可以做源地址也可以做目标IPD——组播地址——只能作为目标IP使用，不能作为源IP使用E——保留地址注：单播——一对一组播——一对多（同一个组播组）广播——一对所有（广播域内的所有）A: 0XXX XXXX (0 - 127) 1 - 126B: 10XX XXXX 128 - 191C: 110X XXXX ...
2021-12-07 22:46:45
98
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人