- 博客(207)
- 收藏
- 关注
原创 PXE装机遇DHCP错误:ICMP echo reply导致IP分配失败原理解析
但租约过期后,服务器会自动将其重新标记为“空闲”,纳入待分配池。若网络中除了当前isc-dhcp-server外,还有其他DHCP服务(比如路由器自带的DHCP、其他运维人员部署的DHCP),且其他DHCP的地址池与当前服务器重叠,可能导致xxx.xxx.xxx.xxx已被其他DHCP分配给设备,当前服务器检测到冲突。关键矛盾:在租约过期、服务器标记为“空闲”后,该IP可能已被其他设备(比如手动配置静态IP的服务器、其他DHCP服务器分配的设备)占用,导致DHCP服务器筛选该IP后,ping测试发现冲突。
2025-12-21 20:40:01
952
原创 PXE启动菜单配置完全指南:打造高效网络装机入口
一个精心配置的PXE启动菜单不仅能提供友好的用户界面,还能极大提升网络装机的效率和可靠性。分层配置:利用PXE的配置优先级实现灵活的设备特定配置参数准确:确保内核、initrd路径和安装源URL完全正确兼容性考虑:为不同架构(BIOS/UEFI)和发行版准备相应的配置调试准备:保留调试选项便于故障排查。
2025-12-21 20:23:37
776
原创 解析Debian 10安装Intel Xeon Silver 4510卡住问题及Debian 11/12支持改进
在使用 Intel® Xeon® Silver 4510(Ice Lake-SP 架构)处理器的服务器上安装 Debian 10.13 时遇到安装卡住问题。该处理器需要较新内核支持,而 Debian 10 的内核版本(4.19)过旧。
2025-12-18 22:52:53
650
原创 Apache HTTP 服务搭建全攻略
通过本文,搭建了一个完整的HTTP安装源服务器,这是PXE网络装机环境的最后一块关键拼图。DHCP服务:为客户端分配IP并指引TFTP服务器TFTP服务:提供引导文件(pxelinux.0,内核等)HTTP服务:提供完整的操作系统安装镜像至此,当客户端PXE启动时,将能够:获取IP地址 → 下载引导文件 → 加载内核 → 通过HTTP获取完整安装镜像 → 自动完成系统安装。
2025-12-18 22:38:54
324
原创 PXE 装机引导文件提取与验证(Debian 9.13 适配,含 TFTP 传输测试)
Debian 需安装包获取pxelinux.0(CentOS 为syslinuxDebian 的 initrd 文件为initrd.gz,需解压为initrd.img后使用;引导文件存放目录与 CentOS 一致,TFTP 传输验证逻辑通用。至此,Debian 9.13 的 PXE 引导文件已部署完成,结合 DHCP 服务器配置,下一步只需编写 PXE 装机菜单(),即可实现 Debian 9.13 的批量网络装机。
2025-12-08 23:54:40
1041
原创 CentOS 7 搭建 TFTP 服务器(PXE 装机必备,含协议特性 + 权限配置 + 排错)
TFTP 服务器是 PXE 批量装机的关键组件,其核心优势是轻量、快速、配置简单,完全适配小文件传输场景。本文从协议特性到实操配置,再到权限安全和排错,完整覆盖了 TFTP 服务器的部署流程 —— 只需遵循 “权限最小化” 原则,即可搭建一个稳定安全的 TFTP 服务。结合之前部署的 DHCP 服务器,我们已经完成了 PXE 装机的 “半壁江山”,下一篇将讲解PXE 引导文件的提取与菜单配置,实现客户端的自动装机!博客发布提示:可添加的目录结构截图、的端口监听截图,提升教程直观性;
2025-12-07 18:26:48
720
原创 CentOS 7 部署 isc-dhcp-server(PXE 场景专属,含完整配置 + 避坑指南)
CentOS 7 部署 dhcpd 的核心是 “静态 IP 打底 + PXE 参数点睛”:静态 IP 确保 DHCP 服务器地址稳定,和filename参数是 PXE 引导的关键,地址池配置支撑批量装机需求。本文的配置文件可直接适配 PXE 场景,后续只需搭建 TFTP 服务器并放置pxelinux.0引导文件,即可完成 PXE 引导的 “第一关”。下一篇将带来 TFTP 服务器的安装配置与引导文件准备,结合本文的 DHCP 服务,实现 PXE 客户端从 “获取 IP” 到 “下载引导文件” 的完整链路。
2025-12-01 23:15:57
1068
原创 PXE 核心组件深度解析:DHCP 地址池 + PXE 特殊配置 + 交互逻辑(含流程图)!!!
DHCP 地址池(也叫 IP 地址池)是 DHCP 服务器预先划分的一段连续 IP 地址范围,是 DHCP 服务器为客户端分配 IP 的 “资源池”。当客户端发送 DHCP 请求时,服务器会从这个范围内挑选一个空闲 IP 分配给客户端,并设定 IP 租期(租期到期后客户端需重新申请或续租)。plaintextDHCP服务器 = DHCP地址池(IP资源库) + 基础网络配置(网关/DNS) + PXE引导扩展(next-server+filename)从地址池获取:自己的 IP 地址(可正常通信);从。
2025-11-27 22:15:12
766
原创 一文搞懂 PXE 高效批量网络装机:原理 + 流程 + 可视化流程图
PXE 批量装机的核心优势在于 “无介质、自动化、规模化”,其流程本质是 “网络引导→配置传递→文件下载→镜像挂载→自动安装” 的闭环。掌握了上面的原理、流程和组件作用,你就能轻松搭建 PXE 部署环境,大幅提升运维效率~
2025-11-24 22:12:34
811
原创 Debian 10 系统 A 服务故障分析与解决思路
本次故障的核心是 “资源限制与应用需求不匹配” 引发的连锁反应,而非 “高 IO 负载” 导致的传统故障。解决问题的关键逻辑是:先定位根源(cgroup 内存限制 + systemd 重启策略),再阻断故障链(避免 IO 中断累积),最后加固防护(文件系统保护 + 监控预警)。所有故障环节均存在明确的因果递进关系,只要打破 “资源不匹配” 或 “无限制重启” 任一节点,即可避免后续的文件系统损坏与机器关机。解决方法无需复杂,核心是 “让资源适配需求”+“避免故障放大”。
2025-11-22 18:00:27
776
原创 MySQL的主从复制
主从复制是指将主数据库的DDL 和DML操作通过二进制日志传到从库服务器中,然后再从库上对这些日志重新执行(也叫重做),从而使得从库和主库的数据保持同步。MySQL支持一台主库同时向多台从库进行复制,从库同时也可以作为其他从服务器的主库,实现链状复制。
2024-04-18 17:33:05
1301
1
原创 msyql中的四大日志
慢查询日志记录了了所有执行时间超过参数long_query_time设置值并扫描记录不小于min_examined_row_limit的所有sql语句的日志,默认未开启。错误日志是MySQL中最重要的日志之一,它记录了当MySQL启动和停止时,以及服务器子啊运行过程中发生任何严重错误时的相关信息。查询日志中记录了客户端的所有操作语句,而二进制日志不包含查询数据的sql语句。默认情况下,查询日志是未开启的。该日志是默认开启大的,默认存放目录/var/log/,默认的日志文件名问mysql.log。
2024-04-17 18:18:33
790
原创 MySQL中的事务
事务是一组操作的集合,它是一个不可分割的工作单位,事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求,即这些操作要么同时成功,要么同时失败。默认MySQL的事务是自动提交的,也就是说,当执行一条DML语句,Mysql会立即隐式的提交事务。
2024-03-11 18:27:32
742
1
原创 mysql的多表查询
概述:指从多张表中查询数据笛卡尔积:笛卡尔积是指在数学中,两个集合A和集合B所有的组合情况(在多表查询中,需要消除无效的笛卡尔积)
2024-03-11 16:30:05
1156
原创 DQL相关操作(很详细!!!)
注意:如果是多字段排序,当第一个字段值相同时,才会根据第二个字段进行排序。select 聚合函数(字段列表) from 表名;DQL是数据查询语言,用来查询数据库中表的记录。1.介绍:将一列数据作为一个整体进行纵向运算。注意:null值不参与所有聚合函数运算。2.where和having的区别。查询关键字:select。别名增强可读性,可有可无。
2024-03-05 20:10:58
653
原创 docker搭建Redis三主三从
请确保在运行该命令之前已经启动了六个对应的 Redis 容器,并且这些容器处于可访问的状态。此外,还需要注意集群的配置和部署步骤,以确保正确设置 Redis 集群。
2023-09-26 13:27:42
471
原创 分布式算法相关,使用Redis落地解决1-2亿条数据缓存
为了在结点数目发生改变时尽可能少的迁移数据将所有的存储接地点配列在首尾相接的hash环上,每个可以在计算hash后会顺时针找到临近的存储点存放。而当有结点加入或退出时仅影响该节点在hash环上顺时针相邻的后续结点优点:加入和删除只影响哈希环中顺时针方向的相邻的节点,对其他节点无影响缺点:数据的分布和节点位置有关,因为这些节点不是均匀分布在hash环上的,所以数据在进行存储时达不到均匀分布的效果。
2023-09-25 16:10:50
462
原创 docker实现mysql主从复制(巨详细!!!)
综合上述参数,该命令会创建一个名为 mysql-master 的 MySQL 5.7 数据库容器,并将其映射到主机的 3307 端口,同时将容器中数据库的日志文件、数据文件和配置文件挂载到主机上指定的目录。容器中的 MySQL 数据库的 root 用户密码将被设置为 ROOT。综合上述命令,第一个命令创建了一个名为 ‘slave’ 的用户,并设置其密码为 ‘123456’,允许从任何主机连接。这是两个 MySQL 数据库命令用于创建一个名为 ‘slave’ 的用户,并授予该用户复制从库和复制客户端的权限。
2023-09-24 21:25:44
852
原创 docker镜像相关
docker中的镜像分层,支持通过扩展现有镜像,创建新的镜像。自己再按需扩展。新镜像是从base镜像一层一层叠加生成的。没安装一个新的软件,就在现有镜像的基础上增加一层。
2023-09-20 19:13:25
394
原创 docker一些基础的命令
–name=“容器新名字” ,为指定容器指定一个名字-d:后台运行容器并返回一个容器ID,即启动守护式容器(后台运行)-i:以交互模式运行容器,通常与-t同时使用-t:为容器重新分配一个伪输入终端,通常与-i同时使用,即启动交互式容器(前台有伪终端,等待交互)-P:随机端口映射-p:指定端口映射-a:列出当前所有正在运行的容器+历史运行过的-l:显示最近创建的容器-n:显示最近n个创建的容器-q:静默模式,只显示容器编号退出容器:有两种方式:exit:run进去容器,exit退出,容器停止ctrl+p+
2023-09-20 14:25:20
448
原创 HDFS中snapshot快照机制
snapshot是数据存储的某一时刻的状态记录,备份(backup)则是数据存储的某一个时刻的副本HDFS snapshot快照是整个文件系统或某个目录在某个时刻的镜像,该镜像并不会随着源目录的改变而进行动态的更新。
2023-08-08 18:05:44
1420
原创 HDFS中的Trash垃圾桶回收机制
HDFS Trash机制,目的防止无意中删除某些东西。默认情况下是不开启的启用Trash功能之后,从HDFS中删除某些内容时,文件或目录不会立即被清楚,他们将被移动到回收站Current目录中(/user/${username}.Trash/current).Trash中的文件在用户可配置的时间延迟后被永久删除也可以简单的讲回收站里的文件移动到.Trash目录之外的位置来恢复回收站中的文件和目录。
2023-08-08 15:58:50
1894
原创 HDFS中的sequence file
sequence file是hadoop提供的一种二进制文件存储格式一条数据称之为record(记录),底层直接以键值对形式序列化到文件中。
2023-08-06 00:26:52
1550
原创 HDFS小文件解决方案---archive归档文件命令
hadoop archive可以有效地处理以上的问题,它可以把多个文件归档成为一个文件,归档成一个文件后还可以透明的访问每一个文件。
2023-08-05 23:55:12
1386
原创 HDFS中的NAMENODE元数据管理(超详细)
文件自身属性信息文件名称、权限、修改时间,文件大小、复制因子、数据块大小文件块位置映射信息记录文件块和DataNode之间的映射信息,即哪个块位于哪个结点上按照存储形式分别为内存元数据和元数据文件两种,分别存在内存和磁盘上SNN可以减小edits logs文件的大小和得到一个最新的fsimage文件,这样也会减小在namenode上的压力。
2023-08-05 19:48:13
5765
原创 HDFS架构刨析
HDFS是Hadoop distribute file system的简称,意味:Hadoop分布式文件系统HDFS是Hadoop核心组件之一,作为大数据生态圈最底层的分布式存储服务而存在HDFS解决的问题就是大数据如何存储,它是横跨在多台计算机上的文件存储系统并且具有高度的容错能力HDFS遵循主从架构namenode是主节点,负责存储和管理文件系统元数据信息,包括namespace目录结构,文件块位置信息等datanode是从节点,负责存储文件具体的数据块。
2023-08-03 11:21:32
1358
原创 HDFS集群滚动升级以及回滚相关
在hadoop v2中,HDFS支持namenode高可用(HA),使得不停机升级HDFS变的可行。注:从hadoop2.4.0开始才支持滚动升级因此为了在不停机的情况下升级hdfs集群,必须使用HA设置集群在HA集群中,有两个或多个namenode,许多DataNode,一下journalnode和一下zookeepernodeJN相对稳定,在大多数情况下,升级HDFS时不需要升级滚动升级过程中,仅针对NNS和DNS,JNS和ZKNS都没有,升级JN和ZKN可能会导致集群停机。
2023-08-02 00:24:21
1610
原创 HDFS中的Federation联邦机制
命名空间(namespace)由文件,块和目录组成的统一抽象的目录树结构。由namenode根据用户操作实时维护树结构块存储层包括两部分:块管理:namenode执行块管理。块管理通过处理注册和定期心跳来提供DataNode集群成员身份。它处理块报告并迟滞与块相关的操作,如创建,删除,修改或获取块位置。它还维护块的位置,副本位置。为未复制的块管理块复制,并在已复制的块中删除存储:DataNode通过在本地文件系统上存储块并提供读/写访问权限来管理存储空间。
2023-08-01 23:46:09
1503
原创 HDFS的QJM方案
Quorum Journal Manager(仲裁日志管理器),是Hadoop官方推荐的hdfs HA解决方案之一使用zookeeper中ZKFC来实现主备切换使用Journal Node(JN)集群来实现edits log的共享以达到数据同步的目的。
2023-08-01 22:52:40
2036
原创 HDFS集群黑白名单机制
HDFS集群黑白名单机制白名单黑名单白名单所谓白名单指的是允许哪些机器加入到当前的HDFS集群中,是一种准入机制白名单由dfs.hosts参数指定,该参数位于hdfs-site.xml.默认值为空dfs.hosts只想文件,该文件包含允许链接到namanode的主机列表。必须允许指定文件的完整路径名。如果该值为空,则允许所有主机接入黑名单所谓黑名单指的是禁止哪些主机加入到当前的HDFS集群中,是一种禁入机制黑名单由dfs.hosts.exclude参数指定,该参数位于hdfs-site.
2023-08-01 09:00:00
379
原创 HDFS Erasure coding-纠删码介绍和原理
纠删码技术简称EC,是一种编码容错技术。最早用于通信行业,数据传输中的数据恢复。它通过对数据进行分块,然后计算出校验数据,是的各个部分的数据产生关联性。当一部分数据块丢失时,可以通过剩余的数据块和校验块计算出丢失的数据块Hadoop3.0之后引入了纠删码技术,它可以提高50%以上的存储利用率,并且保证数据的可靠性。
2023-07-31 22:08:13
1463
原创 磁盘均衡器:HDFS Disk Balancer
hdfs disk balancer是hadoop3中引入的命令行工具,用于平衡DataNode中的数据在磁盘指甲分布不均匀问题。在这里特别注意,hdfs diskbalancer与hdfsbalancer是不同的。
2023-07-31 21:24:06
2249
原创 HDFS高阶优化方案:短路本地读取,节点负载平衡器
Unix domain socket通常被用于本地进程间的通信需求,如某个进程提供服务,其他进程通过Unix domain socket与之进行通信。Unix domain socket(Unix域套接字)是一种用于进程间通信的机制,特别适用于同一台计算机上的进程间通信。这是一种进程间的通讯方式,它使得同一个机器上的两个进程能以socket的方式通讯。总结起来,Unix domain socket是一种本地进程间通信的机制,具有高性能、安全性好,适用于同一台计算机上的进程间通信需求。
2023-07-31 12:00:00
741
原创 HDFS中namenode安全模式
hadoop中的安全模式safe mode是namenode的维护状态,在此状态下namenode不允许对文件系统进行任何更改,可以接受读数据请求在namenode启动过程中,首先会从fsimage和edits日志文件加载文件系统状态。然后,等待datanodes汇报可用的block信息。在此期间,namenode保持在安全模式。随着DataNode的block汇报持续进行,当整个系统达到安全标准时候,HDFS自动离开安全模式。在namenode web主页上会显示安全模式是打开还是关闭。
2023-07-29 18:23:40
1650
原创 HDFS中数据迁移的使用场景和考量因素
这个命令告诉distcp工具将hdfs://src_cluster:8020/user/data目录下的数据复制到hdfs://dest_cluster:8020/user/data_backup目录下。
2023-07-29 16:45:07
1953
原创 HDFS异构存储详解
异构存储是Hadoop2.6.0版本出现的新特性,可以根据各个存储介质读写特性不同进行选择。例如冷热数据的存储,对冷数据采取容量大,读写性能不高的存储介质如机械硬盘,对于热数据,可使用SSD硬盘存储。HDFS支持把数据写入由DataNode管理的对外内存DataNode异步地将内存中数据刷新到磁盘,从而减少代价较高的磁盘IO操作,这种写入被称为Lazy Persist写入该特性从Apache Hadoop 2.6.0开始支持。
2023-07-26 15:58:33
2045
原创 HDFS基本操作命令
命令:hadoop fs -getmerge [-n1] [-skip-empty-file]-p选项的行为与unix mkdir -p非常相似,他会沿着路径创建父目录。下载文件到本地文件系统指定目录,localdst必须是目录。和-put功能一样,只不过上传结束,源数据会被删除。-p保留访问和修改时间,所有圈和权限。-p保留访问和修改时间,所有权和权限。dst如果文件不存在,将创建文件。dst 目标文件系统(HDFS)-f 覆盖目标文件(已经存在)-f覆盖目标文件(已存在下)-f覆盖目标文件
2023-07-24 15:55:47
2858
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅