<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_69240397的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_69240397</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_69240397]]></copyright><item><title><![CDATA[一文快速入门Redis]]></title><link>https://blog.youkuaiyun.com/qq_69240397/article/details/155611453</link><guid>https://blog.youkuaiyun.com/qq_69240397/article/details/155611453</guid><author>qq_69240397</author><pubDate>Fri, 05 Dec 2025 15:55:14 +0800</pubDate><description><![CDATA[Redis是一款高性能的NoSQL内存数据库，支持五种数据类型：String、List、Hash、Set和SortedSet。它既可作为缓存使用，也可持久化存储数据。文章详细介绍了Redis的安装配置（包括Linux和Windows版本）、基本命令操作以及通过Java代码（使用Jedis和Jedis连接池）操作Redis的方法。Redis在企业中常作为关系型数据库的补充，特别适合处理高并发场景。文中还提供了Redis的下载链接和学习资源，涵盖了从基础概念到实际应用的全方位内容。]]></description><category></category></item><item><title><![CDATA[一文详解SPARK容错机制（巨简单）！！！]]></title><link>https://blog.youkuaiyun.com/qq_69240397/article/details/155498554</link><guid>https://blog.youkuaiyun.com/qq_69240397/article/details/155498554</guid><author>qq_69240397</author><pubDate>Tue, 02 Dec 2025 16:46:43 +0800</pubDate><description><![CDATA[1，保留操作日志2，副本机制3，依赖关系。]]></description><category></category></item><item><title><![CDATA[不用脑子的Windows版本的kafka的搭建与使用！！！]]></title><link>https://blog.youkuaiyun.com/qq_69240397/article/details/155452450</link><guid>https://blog.youkuaiyun.com/qq_69240397/article/details/155452450</guid><author>qq_69240397</author><pubDate>Tue, 02 Dec 2025 12:34:53 +0800</pubDate><description><![CDATA[本文介绍了Zookeeper和Kafka的下载安装配置流程。首先从官网下载软件包，然后分别配置Zookeeper的zoo.cfg文件和Kafka的server.properties文件。特别提供了Windows环境下通过bat脚本快速启动Kafka服务的方法。最后通过KafkaUI测试验证了消息收发功能正常，整个安装配置过程顺利完成。]]></description><category></category></item><item><title><![CDATA[一文详解eventTime+watermarker+allowedLateness到底窗口关闭时间是什么？]]></title><link>https://blog.youkuaiyun.com/qq_69240397/article/details/155452178</link><guid>https://blog.youkuaiyun.com/qq_69240397/article/details/155452178</guid><author>qq_69240397</author><pubDate>Mon, 01 Dec 2025 14:53:25 +0800</pubDate><description><![CDATA[本文探讨了Flink窗口关闭机制与watermark、allowedLateness的关系。通过KafkaUI发送JSON格式订单数据，使用Flink处理时配置了3秒watermark和10秒allowedLateness。实验发现：1)窗口触发条件是当前最大事件时间减去watermark时间；2)窗口关闭时间=窗口结束时间+watermark时间+allowedLateness时间。测试数据表明，当事件时间达到12:19:08(12:18:55+3s+10s)后，窗口才真正关闭不再接收延迟数据。]]></description><category></category></item><item><title><![CDATA[FLINK使用状态操作时的特殊报错（少废话）]]></title><link>https://blog.youkuaiyun.com/qq_69240397/article/details/155448183</link><guid>https://blog.youkuaiyun.com/qq_69240397/article/details/155448183</guid><author>qq_69240397</author><pubDate>Mon, 01 Dec 2025 12:20:49 +0800</pubDate><description><![CDATA[flink四大基石之state的特殊报错]]></description><category></category></item><item><title><![CDATA[Flink 从入门到实践：安装部署与任务开发全指南（基于 Flink 1.17 Standalone 集群）]]></title><link>https://blog.youkuaiyun.com/qq_69240397/article/details/155228139</link><guid>https://blog.youkuaiyun.com/qq_69240397/article/details/155228139</guid><author>qq_69240397</author><pubDate>Tue, 25 Nov 2025 11:35:12 +0800</pubDate><description><![CDATA[第 1 代：Hadoop MapReduce仅支持 Map+Reduce 两阶段计算，复杂任务需拆分多 Job 串联，效率低。第 2 代：DAG 框架（Tez/Oozie）支持 DAG 任务调度，但仍以批处理为主，实时性不足。第 3 代：Spark引入内存计算，支持 Job 内 DAG，但流处理基于 “微批模拟流”（Spark Streaming），无法做到低延迟。第 4 代：Flink原生支持流处理，将 “批数据” 视为 “有界流”，实现流批一体；同时支持 DAG 优化、增量迭代，性能远超前几代。]]></description><category></category></item><item><title><![CDATA[秒解SparkSql写入hive表出现格式问题（少废话）]]></title><link>https://blog.youkuaiyun.com/qq_69240397/article/details/154983070</link><guid>https://blog.youkuaiyun.com/qq_69240397/article/details/154983070</guid><author>qq_69240397</author><pubDate>Tue, 18 Nov 2025 10:55:44 +0800</pubDate><description><![CDATA[摘要：在使用Spark写入Hive表时出现格式不匹配错误，原因是Hive创建的表默认为HiveFileFormat，而Spark使用ParquetDataSourceV2格式]]></description><category></category></item><item><title><![CDATA[将mysql的数据导入到HDFS遇到ClassNotFoundException class 表名 not found]]></title><link>https://blog.youkuaiyun.com/qq_69240397/article/details/152003976</link><guid>https://blog.youkuaiyun.com/qq_69240397/article/details/152003976</guid><author>qq_69240397</author><pubDate>Wed, 24 Sep 2025 06:00:00 +0800</pubDate><description><![CDATA[进入sqoop的lib下面运行如下代码：配置中需要添加--bindir ./]]></description><category></category></item><item><title><![CDATA[HDFS 纠删码（Erasure Coding）：从原理到实践，彻底搞懂这个 “空间节省神器“]]></title><link>https://blog.youkuaiyun.com/qq_69240397/article/details/151761856</link><guid>https://blog.youkuaiyun.com/qq_69240397/article/details/151761856</guid><author>qq_69240397</author><pubDate>Wed, 17 Sep 2025 13:30:00 +0800</pubDate><description><![CDATA[摘要：HDFS纠删码（EC）通过数学编码替代传统3副本机制，显著提升存储利用率（从33%至66%）。采用Reed-Solomon算法，支持灵活配置数据/校验块比例（如RS-6-3），适用于冷数据存储场景。相比副本机制，EC具有空间占用低、容错可配置等优势，但会增加写入计算开销和恢复成本。Hadoop 3.0+原生支持EC，可通过策略配置为特定目录启用。建议生产环境采用&quot;热数据副本+冷数据EC&quot;的混合存储策略，并注意块大小选择与性能平衡。该技术是优化海量数据存储的有效方案。]]></description><category></category></item><item><title><![CDATA[深入理解 ZooKeeper 选举算法：原理、流程与实例]]></title><link>https://blog.youkuaiyun.com/qq_69240397/article/details/151766688</link><guid>https://blog.youkuaiyun.com/qq_69240397/article/details/151766688</guid><author>qq_69240397</author><pubDate>Wed, 17 Sep 2025 00:11:02 +0800</pubDate><description><![CDATA[ZooKeeper通过基于epoch、zxid和myid的投票机制实现Leader选举，确保集群一致性和高可用性。选举过程遵循&quot;epoch&gt;zxid&gt;myid&quot;的优先级规则，并要求获得半数以上节点支持。主要场景包括初始选举和故障恢复选举，其中epoch机制能防止旧Leader干扰。关键注意事项包括节点ID唯一性、奇数节点配置、避免网络分区等。该机制保证了集群在启动或故障时能快速选出唯一Leader，维护数据一致性。]]></description><category></category></item><item><title><![CDATA[一文吃透 MapReduce Shuffle 过程：从原理到优化​]]></title><link>https://blog.youkuaiyun.com/qq_69240397/article/details/151727233</link><guid>https://blog.youkuaiyun.com/qq_69240397/article/details/151727233</guid><author>qq_69240397</author><pubDate>Tue, 16 Sep 2025 06:00:00 +0800</pubDate><description><![CDATA[在 MapReduce 分布式计算框架中，Shuffle 过程负责将 Map 端输出的无序数据，通过排序、分区、传输、合并等操作，转化为 Reduce 端可高效处理的有序数据。如果把 MapReduce 比作 “工厂生产”，Map 是 “原材料加工车间”，Reduce 是 “成品组装车间”，那么 Shuffle 就是 “物料分拣与运输系统”，直接影响整个生产效率。​。]]></description><category></category></item></channel></rss>