- 博客(12)
- 收藏
- 关注
原创 [特殊字符]️ Linux 自动部署 · 极客魔法
PXE (预启动执行环境)是一项 Intel 发明的技术,让电脑在开机、还没进入硬盘系统时,就能通过网卡向服务器请求“启动指令”。🎮 简单说:就像你刚睡醒,还没吃早饭,就收到快递电话说“早餐已送到门口”。PXE 就是这种“网络唤醒”能力,让电脑从网络启动!✅ 必须条件:网卡支持PXE (现在几乎所有电脑都支持)
2026-05-28 09:41:56
444
原创 大数据搬运工 · Sqoop
🚛 在「关系型数据库」与「Hadoop 大仓库」之间 | 批量、高效、并行运输数据💡想象你的学校图书馆(关系型数据库)有一大堆超重的图书,而学校新建的“超级储藏大楼”(Hadoop)需要这些书。🦾它会把图书拆成几十个小包裹,派好多工人(Map任务),效率超高!还能从大楼把书搬回图书馆(导出),超级灵活!⚡⚡⚡并行搬运大队Sqoop 把一个任务切成N个小块,多个Mapper同时干活,就像100个小蚂蚁搬饼干,比1只大象快多了!🔄↔️导入 + 导出双向通道!
2026-05-22 13:46:24
364
原创 大数据协作框架 · Flume
💧 “数据世界的超级运水工”Flume 是一个专门用来海量数据的工具。它就像数据世界里的,能把散落在不同服务器上的日志、事件数据,安全地运送到大数据仓库(比如 HDFS、Kafka)里。稳定、可靠、不洒水🧭 Flume 核心架构图 · 一个Agent内部长这样⭐ 一个Agent = Source + Channel + Sink,他们配合默契,让数据“旅行”不迷路。
2026-05-22 13:40:24
400
原创 HBase 架构
👉 1. 客户端去找ZooKeeper:“请问HMaster住在哪?” ZooKeeper告诉它地址。👉 2. 客户端访问HMaster创建表或获取元数据,HMaster说:“你要找的数据在这几个RegionServer上。👉 3. 客户端直接去对应的读写数据。每个RegionServer里存着很多 Region(表格的一部分行)。👉 4. RegionServer 会将数据写入底层HDFS永久保存,不怕断电,不怕坏盘。
2026-05-14 08:55:24
363
原创 NoSQL & HBase 极简课
这是HBase安装操作的运行结果🤔 数据库不止有「表格」—— 像搭乐高一样理解新式数据库🗄️ 传统数据库 (SQL):📏 严格纪律 像,每一行、每一列都必须提前设计好(列名、数据类型)。📌 优点:规矩严格,数据整齐,不会乱。🚫 缺点:加一列或改格式很麻烦,适合银行、订单系统。💡 想象你写班级座位表:必须每个人有“学号”“姓名”“语文成绩”,缺一不可。如果临时想加“爱好”列,要调整全班表格 → 麻烦!🚀 NoSQL (不只是表格):🎨 灵活多变。
2026-04-30 10:18:02
309
原创 Apache Hive 大数据翻译官
Hive = SQL 翻译官 + 大数据界的超级计算器你不用成为编程大神,也能在「数据海洋」里自由冲浪以后听到别人说“我们用Hive跑了一下数据”,你就可以说:“哦!就是那个把SQL变成大数据力量的工具呀~”
2026-04-23 09:21:18
714
原创 项目三 ZooKeeper分布式协调协调
Paxos算法通过投票来对写操作进行全局编号,同一时刻,只有一个写操作被批准,同时并发的写操作要去争取选票,只有获得过半数选票的写操作才会被批准(所以永远只会有一个写操作得到批准),其他的写操作竞争失败只好再发起一轮投票,就这样,在日复一日年复一年的投票中,所有写操作都被严格编号排序。当服务启动或者在领导者崩溃后,Zab就进入了恢复模式,当领导者被选举出来,且大多数server的完成了和leader的状态同步以后,恢复模式就结束了。而经过一段时间后,主数据库的数据同步到了从数据库,买家就能查到了。
2026-04-09 10:27:48
404
原创 项目二 分布式集群基础配置
4. JDK部署:解压安装JDK、配置环境变量,给大数据组件提供Java运行环境。虚拟机和真实物理机不在同一网段,上网需要地址转换器NAT。3. SSH免密:生成密钥对,实现主节点免密登录从节点。1. 网络配置:设静态IP、关闭防火墙,保证节点互通。2. 时钟同步:启动NTP服务,统一所有节点时间。(2)DHCP设置(获取IP方式)虚拟机和真实物理机在同一网段。3.网络配置文件所在目录?5.虚拟机下查看上网模式。(6)真实物理机网络设置。(1)采用NAT模式。(4)虚拟机网络设置。(5)虚拟机网络设置。
2026-04-09 09:44:08
64
原创 项目一 大数据分布式集群
VMware Workstation(中文名"威睿工作站")是一款功能强大的桌面虚拟计算机软件,提供用户可在单一的桌面上同时运行不同的操作系统,和进行开发,测试,部署新的应用程序的最佳解决方案。VMware Workstation可在一部实体机器上模拟完整的网络环境,以及可便于携带的虚拟机器,其更好的灵活性与先进的技术胜过了市面上其他的虚拟计算机软件。这样,我们的虚拟机就创建好了。(1) 点击VMware的虚拟机界面,选择我们创建好的虚拟机CentOS6.6,然后双击虚拟机中模拟的光驱设备。
2026-03-26 10:25:47
373
原创 用户与组管理
用户与组管理是操作系统或网络环境中对用户账户和用户组进行创建、修改、删除及权限分配的过程。通过组管理可以简化权限分配,将多个用户归为一组并统一设置权限。Windows系统通过“计算机管理”中的“本地用户和组”管理用户和组。Linux的GNOME或KDE桌面环境也提供图形化工具如。使用命令或图形界面工具创建新用户。例如在Linux系统中,用户和组的权限通常通过文件系统权限控制。通过合理配置用户与组,可以实现安全、高效的资源访问控制。
2026-03-19 09:56:43
260
原创 系统环境与基本命令
系统环境是操作系统运行的基础框架,包括硬件资源、软件配置、用户权限等核心要素。基础命令则是用户与系统交互的直接工具,涵盖文件管理、进程控制、网络操作等常见功能。以下从系统环境组成和基础命令分类展开说明。
2026-03-12 13:47:31
328
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅