- 博客(11)
- 收藏
- 关注
RSS订阅原创 一文快速入门Redis
Redis是一款高性能的NoSQL内存数据库，支持五种数据类型：String、List、Hash、Set和SortedSet。它既可作为缓存使用，也可持久化存储数据。文章详细介绍了Redis的安装配置（包括Linux和Windows版本）、基本命令操作以及通过Java代码（使用Jedis和Jedis连接池）操作Redis的方法。Redis在企业中常作为关系型数据库的补充，特别适合处理高并发场景。文中还提供了Redis的下载链接和学习资源，涵盖了从基础概念到实际应用的全方位内容。
2025-12-05 15:55:14
1149
原创 不用脑子的Windows版本的kafka的搭建与使用！！！
本文介绍了Zookeeper和Kafka的下载安装配置流程。首先从官网下载软件包，然后分别配置Zookeeper的zoo.cfg文件和Kafka的server.properties文件。特别提供了Windows环境下通过bat脚本快速启动Kafka服务的方法。最后通过KafkaUI测试验证了消息收发功能正常，整个安装配置过程顺利完成。
2025-12-02 12:34:53
613
原创 一文详解eventTime+watermarker+allowedLateness到底窗口关闭时间是什么？
本文探讨了Flink窗口关闭机制与watermark、allowedLateness的关系。通过KafkaUI发送JSON格式订单数据，使用Flink处理时配置了3秒watermark和10秒allowedLateness。实验发现：1)窗口触发条件是当前最大事件时间减去watermark时间；2)窗口关闭时间=窗口结束时间+watermark时间+allowedLateness时间。测试数据表明，当事件时间达到12:19:08(12:18:55+3s+10s)后，窗口才真正关闭不再接收延迟数据。
2025-12-01 14:53:25
859
原创 Flink 从入门到实践：安装部署与任务开发全指南（基于 Flink 1.17 Standalone 集群）
第 1 代：Hadoop MapReduce仅支持 Map+Reduce 两阶段计算，复杂任务需拆分多 Job 串联，效率低。第 2 代：DAG 框架（Tez/Oozie）支持 DAG 任务调度，但仍以批处理为主，实时性不足。第 3 代：Spark引入内存计算，支持 Job 内 DAG，但流处理基于 “微批模拟流”（Spark Streaming），无法做到低延迟。第 4 代：Flink原生支持流处理，将 “批数据” 视为 “有界流”，实现流批一体；同时支持 DAG 优化、增量迭代，性能远超前几代。
2025-11-25 11:35:12
1186
原创 秒解SparkSql写入hive表出现格式问题（少废话）
摘要：在使用Spark写入Hive表时出现格式不匹配错误，原因是Hive创建的表默认为HiveFileFormat，而Spark使用ParquetDataSourceV2格式
2025-11-18 10:55:44
389
原创 将mysql的数据导入到HDFS遇到ClassNotFoundException class 表名 not found
进入sqoop的lib下面运行如下代码：配置中需要添加--bindir ./
2025-09-24 06:00:00
423
原创 HDFS 纠删码（Erasure Coding）：从原理到实践，彻底搞懂这个 “空间节省神器“
摘要：HDFS纠删码（EC）通过数学编码替代传统3副本机制，显著提升存储利用率（从33%至66%）。采用Reed-Solomon算法，支持灵活配置数据/校验块比例（如RS-6-3），适用于冷数据存储场景。相比副本机制，EC具有空间占用低、容错可配置等优势，但会增加写入计算开销和恢复成本。Hadoop 3.0+原生支持EC，可通过策略配置为特定目录启用。建议生产环境采用"热数据副本+冷数据EC"的混合存储策略，并注意块大小选择与性能平衡。该技术是优化海量数据存储的有效方案。
2025-09-17 13:30:00
707
原创 深入理解 ZooKeeper 选举算法：原理、流程与实例
ZooKeeper通过基于epoch、zxid和myid的投票机制实现Leader选举，确保集群一致性和高可用性。选举过程遵循"epoch>zxid>myid"的优先级规则，并要求获得半数以上节点支持。主要场景包括初始选举和故障恢复选举，其中epoch机制能防止旧Leader干扰。关键注意事项包括节点ID唯一性、奇数节点配置、避免网络分区等。该机制保证了集群在启动或故障时能快速选出唯一Leader，维护数据一致性。
2025-09-17 00:11:02
1371
原创 一文吃透 MapReduce Shuffle 过程：从原理到优化
在 MapReduce 分布式计算框架中，Shuffle 过程负责将 Map 端输出的无序数据，通过排序、分区、传输、合并等操作，转化为 Reduce 端可高效处理的有序数据。如果把 MapReduce 比作 “工厂生产”，Map 是 “原材料加工车间”，Reduce 是 “成品组装车间”，那么 Shuffle 就是 “物料分拣与运输系统”，直接影响整个生产效率。。
2025-09-16 06:00:00
1755
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人