<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[好记性不如烂笔头]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/xfp1007907124</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; xfp1007907124]]></copyright><item><title><![CDATA[Starrocks 数据模型]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/157653885</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/157653885</guid><author>xfp1007907124</author><pubDate>Mon, 02 Feb 2026 21:41:47 +0800</pubDate><description><![CDATA[目前 Starrocks 根据摄入数据和实际存储数据之间的映射关系，分为明细模型（Duplicate key）、聚合模型（Aggregate key）、更新模型（Unique key）和主键模型（Primary key）。]]></description><category></category></item><item><title><![CDATA[Starrocks 简介]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/157620503</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/157620503</guid><author>xfp1007907124</author><pubDate>Sun, 01 Feb 2026 23:05:55 +0800</pubDate><description><![CDATA[Starrocks 是新一代极速全场景 MPP 数据库。StarRocks 采用分布式架构，对数据表进行水平划分并以多副本存储。集群规模可以灵活伸缩，能够支持 10PB 级别的数据分析;支持 MPP 框架，并行加速计算;支持多副本，具有弹性容错能力。StarRocks 采用关系模型，使用严格的数据类型和列式存储引擎，通过编码和压缩技术，降低读写放大；使用向量化执行方式，充分挖掘多核 CPU 的并行计算能力，从而显著提升查询性能。]]></description><category></category></item><item><title><![CDATA[StarRocks（2.5.1）vs Clickhouse（21.7.3.14）集群 SSB 性能测试]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/157619943</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/157619943</guid><author>xfp1007907124</author><pubDate>Sun, 01 Feb 2026 22:36:21 +0800</pubDate><description><![CDATA[机器6 台服务器CPU内存238G网络带宽10G磁盘HDDStarRocks 和 Clickhouse 部署在相同配置的机器上分别进行启动测试。StarRocks 部署 6BE 1FEClickhouse 部署六个节点后建立分布式表内核版本：3.10.0-693.el7.x86_64操作系统版本：Centos 7软件版本：StarRocks  2.5.1、ClickHouse 21.7.3.14测试数据（两张表是相同的数据集）表名行数解释lineorder6亿。]]></description><category></category></item><item><title><![CDATA[Spark shuffle 和 MapReduce shuffle 的区别]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/157612808</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/157612808</guid><author>xfp1007907124</author><pubDate>Sun, 01 Feb 2026 17:30:42 +0800</pubDate><description><![CDATA[shuffle 的字面意思是洗牌、混洗的意思，就是把一组有规律的数据尽量打乱成无规律的数据。但在 MapReduce 中 Shuffle 更像是洗牌的逆过程，其将 Map 端输出的混乱数据按指定规则划分成有一定规律的数据，以方便 Reduce 端接收处理。MapReduce 的工作阶段主要可有分为 Map 端和 Reduce 端两个部分。]]></description><category></category></item><item><title><![CDATA[Spark 运行架构及相关概念]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155820484</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155820484</guid><author>xfp1007907124</author><pubDate>Thu, 11 Dec 2025 16:40:41 +0800</pubDate><description><![CDATA[Spark 框架的核心是一个计算引擎，整体来说，它采用了标准的 master-slave 结构。上图中的 Driver 表示 master ，负责管理整个集群中的作业任务调度；Executor 则是 slave，负责实际执行任务；]]></description><category></category></item><item><title><![CDATA[Java ConcurrentHashMap 简介]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155749799</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155749799</guid><author>xfp1007907124</author><pubDate>Tue, 09 Dec 2025 22:10:08 +0800</pubDate><description><![CDATA[在 JDK1.7 中 ConcurrentHashMap 的底层是 Segment 数组 + HashEntry 数组 + 链表。如下图所示：ConcurrentHashMap 为了提高本身的并发能力，在内部采用了一个叫做 Segment 的结构，一个 Segment 其实就是一个类 Hashtable 的结构，Segment 内部维护了一个链表数组每个 Segment 继承 ReentrantLock，作为独立的锁，默认 16 个 Segment 最大并发 16。]]></description><category></category></item><item><title><![CDATA[Java HashMap、Hashtable、HashSet、TreeMap 之间的区别]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155748475</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155748475</guid><author>xfp1007907124</author><pubDate>Tue, 09 Dec 2025 17:28:20 +0800</pubDate><description><![CDATA[HashSet 底层是基于 HashMap 实现的，除了 clone()、writeObject()、readObject()是 HashSet 自己实现的，其他方法都是直接调用 HashMap 中的方法。这些方法都是基于红黑树数据结构的属性实现的，红黑树保持平衡状态，从而保证了搜索操作的时间复杂度为 O(log n)，这让 TreeMap 成为了处理有序集合搜索问题的强大工具。综上所述，相比于 HashMap，TreeMap 主要多了对集合中的元素根据键排序的能力以及对集合内元素的搜索能力。]]></description><category></category></item><item><title><![CDATA[HDFS 扩容缩容]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155278292</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155278292</guid><author>xfp1007907124</author><pubDate>Mon, 08 Dec 2025 16:33:05 +0800</pubDate><description><![CDATA[NameNode 格式化是初始化 HDFS 文件系统的过程，它会创建新的文件系统镜像（fsimage）和编辑日志（edit logs），并设置 NameNode 的存储目录。注意：格式化会删除所有现有的数据，因此只能在全新的安装或确定要清除所有数据时执行。注意：在 HA 设置中，通常需要在一个 NameNode 上格式化，然后将格式化产生的元数据复制到其他 NameNode，或者通过共享存储使得其他 NameNode 可以访问相同的元数据。]]></description><category></category></item><item><title><![CDATA[数据仓库建模]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155503303</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155503303</guid><author>xfp1007907124</author><pubDate>Mon, 08 Dec 2025 15:58:29 +0800</pubDate><description><![CDATA[拉链表，记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条新的记录，并把当前日期放入生效开始日期。如果房前信息至今有效，在生效日期中填入一个极大值（如 9999-12-31）。]]></description><category></category></item><item><title><![CDATA[Scala 泛型]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155575710</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155575710</guid><author>xfp1007907124</author><pubDate>Thu, 04 Dec 2025 23:26:24 +0800</pubDate><description><![CDATA[Scala 和 Java 一样，类、特质、方法都支持泛型。泛型就是定义类、方法时不用指定具体数据类型，在使用时才传入具体适用类型，这样的好处就是支持多类型的复用。]]></description><category></category></item><item><title><![CDATA[Flink 状态一致性]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155244736</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155244736</guid><author>xfp1007907124</author><pubDate>Tue, 25 Nov 2025 23:10:59 +0800</pubDate><description><![CDATA[简单来说，一致性其实就是结果的正确性。对于分布式系统而言，强调的是不同节点中相同数据的副本应该总是“一致的”，也就是从不同节点读取时总能得到相同的值；对于事务而言，是要求提交更新操作后，能够读取到新的数据。]]></description><category></category></item><item><title><![CDATA[MySQL 索引]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155203927</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155203927</guid><author>xfp1007907124</author><pubDate>Mon, 24 Nov 2025 21:24:03 +0800</pubDate><description><![CDATA[索引是一种用于快速查询和检索数据的数据结构，其本质可以看成是一种排序号的数据结构。MySQL 使用 B+ 树作为索引结构。]]></description><category></category></item><item><title><![CDATA[Minor GC 和 Full GC]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155200685</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155200685</guid><author>xfp1007907124</author><pubDate>Mon, 24 Nov 2025 17:30:29 +0800</pubDate><description><![CDATA[Minor GC（次要垃圾回收）是指 JVM 只对新生代进行垃圾回收的过程。它是 JVM 中最频繁发生的 GC 类型。]]></description><category></category></item><item><title><![CDATA[Java 垃圾回收]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155199607</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155199607</guid><author>xfp1007907124</author><pubDate>Mon, 24 Nov 2025 17:29:11 +0800</pubDate><description><![CDATA[启动一个java程序时，一个虚拟机实例开始诞生，程序关闭的时候，虚拟机实例也随之消亡。]]></description><category></category></item><item><title><![CDATA[Spark 数据倾斜解决方案]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155188562</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155188562</guid><author>xfp1007907124</author><pubDate>Mon, 24 Nov 2025 11:32:59 +0800</pubDate><description><![CDATA[Spark 中的数据倾斜问题主要指 shuffle 过程中出现的数据倾斜问题，是由于不同的 key 对应的数据量不同导致的不同 task 所处理的数据量不同的问题。]]></description><category></category></item><item><title><![CDATA[Flink Checkpoint 和 Spark Checkpoint 的区别]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155169661</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155169661</guid><author>xfp1007907124</author><pubDate>Sun, 23 Nov 2025 22:46:25 +0800</pubDate><description><![CDATA[更像一个“它主要目的是，避免因链路过长导致的性能问题或 StackOverflowError。它是一个** coarse-grained（粗粒度）** 的、的、的容错机制。：是一个“它是 Flink，用于在发生故障时，将整个分布式数据流状态恢复到一致性的检查点，实现或 At-Least-Once 语义。它是一个的、的、的容错机制。简单来说，Spark Checkpoint 是为了解决 RDD 带来的内部问题，而 Flink Checkpoint 是对外提供容错保证的核心特性。]]></description><category></category></item><item><title><![CDATA[Spark Streaming 简介]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155168944</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155168944</guid><author>xfp1007907124</author><pubDate>Sun, 23 Nov 2025 22:20:47 +0800</pubDate><description><![CDATA[特性DStream (微批次)编程模型基于 RDD 的低级 API基于 DataFrame/Dataset 的高级声明式 APIAPI 级别较低级，需手动处理状态、窗口较高级，内置对事件时间、窗口、水位线的支持性能优化无自动优化利用 Spark SQL 的 Catalyst 优化器和 Tungsten 执行引擎延迟秒级（微批次）可达毫秒级（微批次），还有更低延迟的连续处理模式语义保证At-least-once 或 exactly-once（需精心设计）端到端的语义学习曲线。]]></description><category></category></item><item><title><![CDATA[Spark SQL 简介]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155168057</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155168057</guid><author>xfp1007907124</author><pubDate>Sun, 23 Nov 2025 21:51:25 +0800</pubDate><description><![CDATA[Spark SQL 是 Spark 用于结构化数据处理的模块，对于开发人员来讲，Spark SQL 可以简化 RDD 的开发，提高开发效率，且执行效率非常快，所以实际工作中，基本上采用的就是 Spark SQL。Spark SQL 为了简化 RDD 的开发，提高开发效率，提供了两个编程抽象，类似 Spark Core 中的 RDD。即 DataFrame 和 DataSet。]]></description><category></category></item><item><title><![CDATA[使用机器学习检测 DGA 域名 — SVM]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155070400</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155070400</guid><author>xfp1007907124</author><pubDate>Sun, 23 Nov 2025 15:51:39 +0800</pubDate><description><![CDATA[DGA 是 Domain Generation Algorithm（域名生成算法）的简称，是指使用主控端和被控端协商好的一种基于随机算法的域名生成协议，简单来说就是生成一个随机字符串来作为域名并进行注册，将其作为 C&C 服务器的域名并不定时经常性更换。由于具备强随机性，短时效性，通过 DGA 生成的域名往往在查杀上更具被难度。]]></description><category></category></item><item><title><![CDATA[Spark 部署模式]]></title><link>https://blog.youkuaiyun.com/xfp1007907124/article/details/155077284</link><guid>https://blog.youkuaiyun.com/xfp1007907124/article/details/155077284</guid><author>xfp1007907124</author><pubDate>Thu, 20 Nov 2025 23:16:29 +0800</pubDate><description><![CDATA[所谓 Local 模式，就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学、调试、演示等。]]></description><category></category></item></channel></rss>