- 博客(10)
- 收藏
- 关注
RSS订阅原创 一步到位解决Maven项目启动速度慢
mvn xxx以后运行 main 类时，完全不经过 Maven，也就永远看不到这两行 **。下面给你 “永久解决” 的完整做法，一步到位。，永远不再输出那两行。
2026-06-08 21:52:52
193
原创 MySQL索引：高效查询的秘密武器
MySQL中的索引跟数组中的索引本质完全不同:数组中的下标索引:本质是 内存中连续存储空间的偏移量 全部存储在内存中mysql中的索引:本质是 磁盘上用于快速定位数据的独立数据结构 , 主体在磁盘中 热点数据缓存在内存中索引是存储引擎用于快速定位数据行的一种数据结构，类似书籍的 “目录”。它能大幅减少查询时扫描的数据量，提升检索效率，但也会占用额外存储空间，并降低写（INSERT/UPDATE/DELETE）速度（因为写入时需同步维护索引结构）。mysql中存储引擎 支持的索引类型。
2026-04-20 20:37:35
639
原创 大数据工程师必看：Flume 核心组件与典型场景落地
是一个分布式、高可靠、高可用的海量日志采集、聚合和传输系统，是大数据生态中经典的数据搬运工具Apache Flume.【李易峰】Flume Source 是 Agent 的数据入口，负责从外部系统接收数据、封装为统一 Event 并写入 Channel。按数据来源与传输方式，可分为网络协议、文件采集、系统命令、消息队列、测试生成五大类，以下是核心类型详解与选型建议。类型核心能力适用场景关键特性监听 Avro 端口，接收 RPC 事件跨 Agent 级联、多层拓扑、Avro 客户端发送。
2026-04-16 21:25:30
847
原创 Hive 复杂数据类型深度解密
有序、可重复的集合，元素类型统一下标从0开始访问常用于存储列表、标签、多值属性key-value 结构，key 唯一、value 可重复适合存储动态属性、键值配置、多维度标签固定结构的 “对象”，包含多个不同类型字段用.字段名访问，清晰直观适合固定结构的嵌套对象，如地址、设备信息等复杂类型尽量不要多层嵌套（如 array<map<string,struct<...>>>），可读性极差且易出问题使用explode时注意数据倾斜与行数爆炸。
2026-04-10 21:37:35
358
原创 Hive三大安装模式详解
hive的安装分为三种模式 : 内嵌模式(derby)、本地模式(mysql)、远程模式安装模式取决于hive元数据存放的存放位置内嵌模式:内嵌的 Derby 数据库（与 Hive 服务在内）（如 MySQL、PostgreSQL），通常与 Hive 装在同一台机器上（通常部署在独立的服务器或使用云数据库）
2026-04-09 20:27:03
701
原创 Hive架构解析：从SQL到大数据处理的奥秘
简介hive 是一个建立在Hadoop生态之上的数据仓库软件.主要目的和功能是: 让用户能够通过以类SQL语法的形式方便的读取,写入和管理存储在HDFS上的海量数据.可以理解为hive可以将sql 翻译成底层的MapReduce 或Spark任务 进行执行 大大提高了开发效率。
2026-04-09 19:42:11
600
原创 ZooKeeper 选举机制：一篇讲透核心逻辑
启动第二台，先投自己一票，然后第一台开始投票，比较两者之间谁的myid大，谁的大，就投给谁，zk02再得一票，第二台两票，超过了半数，领导出现了zk02.启动第一台，第一台开始选举，自己投自己一票，因为超过半数才有效，所以zk01不是领导，此时的状态是选举中。比较顺序 epoch -------- zxid ---------- myid。启动第三台：发现有领导了，投了吧，当fllower吧。我现在的集群中，有三台zk,为什么第二台是领导？算法，本质上是一个基于优先级比较的投票。保证分布式数据一致性。
2026-04-08 19:55:31
69
原创 Hadoop高可用集群搭建全攻略
首先准备3台服务器 hadoop11 hadoop12 hadoop13完成分布式的搭建 hadoop11为namenode datanode hadoop12 hadoop13 为datanodejdk 以及 zookeeper集群搭建完成。
2026-04-08 19:34:28
1143
原创 ZooKeeper：分布式协调的奥秘
摘要：Zookeeper是一个分布式协调服务框架，用于解决分布式系统的一致性问题。它采用类似Unix目录节点的树形结构存储少量数据，能监控服务器状态变化。Zookeeper集群由Leader、Follower和Observer组成：Leader处理写请求并决定事务顺序；Follower参与选举投票和事务表决；Observer仅处理读请求不参与投票，适合读多写少场景。其特点包括高可用性（半数节点存活即可服务）、全局数据一致性、顺序请求处理和原子性更新等。
2026-04-07 20:41:11
544
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人