<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[m0_74880098的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/m0_74880098</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; m0_74880098]]></copyright><item><title><![CDATA[k8s+helm部署Milvus和Qdrant向量数据库]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/159387558</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/159387558</guid><author>m0_74880098</author><pubDate>Mon, 23 Mar 2026 15:10:24 +0800</pubDate><description><![CDATA[本文介绍了在CentOS 7环境下使用Kubernetes和Helm部署Milvus和Qdrant的完整流程。首先规划3节点集群架构（1 Master+2 Workers），进行基础环境准备包括防火墙、SELinux和Swap设置。然后安装配置Containerd运行时，部署Kubernetes 1.28.0集群，初始化Master节点并加入Worker节点。接着安装Flannel网络插件和Local Path Provisioner持久化存储，最后安装Helm工具用于后续应用部署。]]></description><category></category></item><item><title><![CDATA[Spark SQL 2.4.0 性能调优实战指南 (基于 CDH 6.3.2)]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/157542840</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/157542840</guid><author>m0_74880098</author><pubDate>Fri, 30 Jan 2026 10:19:33 +0800</pubDate><description><![CDATA[本文介绍了Spark SQL 2.4.0在CDH 6.3.2集群上的性能调优实战，针对千万级招投标数据治理项目。重点分析了集群资源现状（140 vCPU/250GB内存）和大文本处理的技术痛点，提出&quot;基于短板定单体，基于总量定并发&quot;的调优策略。详细讲解了Executor内存配置（6GB容器，4GB堆内+2GB堆外）、执行器数量（18-20个）和并发核数（2核）的测算逻辑，以及如何通过优化Shuffle并行度和内存分配解决大文本处理和计算倾斜问题。]]></description><category></category></item><item><title><![CDATA[Flink 1.19.3 资源配置优先级验证报告]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/156942151</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/156942151</guid><author>m0_74880098</author><pubDate>Wed, 14 Jan 2026 11:56:45 +0800</pubDate><description><![CDATA[Flink 1.19.3资源配置优先级验证报告摘要： Flink 1.19.3配置优先级从高到低依次为：命令行参数(P0)、代码显式设置(P1)、部署模式特定参数(P2)、客户端配置文件(P3)和系统默认值(P4)。测试验证了P0(命令行)覆盖P3(配置文件)和P1(代码)覆盖P2(部署参数)的优先级规则。实验显示，通过命令行参数(-D)指定的资源值(如2048m内存)成功覆盖了config.yaml中的配置(5120m)，代码中的设置(如3072m内存)也能覆盖基础配置文件值。]]></description><category></category></item><item><title><![CDATA[Spark 2.4.0 三节点集群部署文档 (Standalone 模式)]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/156591757</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/156591757</guid><author>m0_74880098</author><pubDate>Mon, 05 Jan 2026 11:23:08 +0800</pubDate><description><![CDATA[本文档详细介绍了Spark 2.4.0三节点集群(Standalone模式)的部署流程。规划使用三台服务器(10.8.16.213/209/210)，其中213节点同时作为Master和Worker。部署过程包括：环境准备(JDK8安装、hosts配置、SSH免密)、Spark软件安装配置(环境变量、spark-env.sh和slaves文件修改)、集群启停操作及验证测试。特别注意了与Flink集群的端口冲突问题，提供了完整的配置参数和验证方法。通过运行SparkPi示例程序成功验证集群功能。]]></description><category></category></item><item><title><![CDATA[maxwell（1.44.0）暂停监听某些表的测试]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/155318828</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/155318828</guid><author>m0_74880098</author><pubDate>Thu, 27 Nov 2025 17:28:16 +0800</pubDate><description><![CDATA[本文介绍了Maxwell(1.44.0)在分库分表架构下的配置优化方案。通过编写config.properties配置文件和filter.js动态路由脚本，解决了传统静态配置难以维护、灵活性差的问题。配置重点优化了Kafka生产者参数(批量大小160KB、LZ4压缩、异步模式等)和Maxwell核心参数(4线程处理、10,000条事件缓存)。filter.js实现了多对一映射功能，将分散在不同库表的业务数据(如企业数据、税务数据)动态路由到统一Kafka主题，同时支持数据清洗和脱敏，显著提升了系统可维护性。]]></description><category></category></item><item><title><![CDATA[三节点Kafka（3.9.0-支持jdk8的最高稳定版本）集群部署]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/155236363</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/155236363</guid><author>m0_74880098</author><pubDate>Tue, 25 Nov 2025 17:46:16 +0800</pubDate><description><![CDATA[本文介绍了基于Flink+Paimon的流批一体实时数仓架构中Kafka 3.9.0集群的部署方案。由于项目依赖CDH 6.3.2平台，需使用JDK 8环境，因此选择兼容JDK 8的Kafka 3.9.0版本。部署过程包括：1)安装JDK 1.8；2)在三节点上配置Kafka集群，设置不同节点的server.properties文件，包含节点ID、监听地址、日志目录等关键参数；3)确保高可用配置如副本因子设为3。该方案实现了从MySQL到Paimon的实时数据同步链路，满足业务对数据实时性的需求。]]></description><category></category></item><item><title><![CDATA[Paimon底层存储数据结构和架构原理以及tag功能和paimon入门实例]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/155021578</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/155021578</guid><author>m0_74880098</author><pubDate>Wed, 19 Nov 2025 13:09:21 +0800</pubDate><description><![CDATA[Apache Paimon 是一个开源的流式数据湖存储系统，专为实时数据处理设计，结合了数据湖的灵活性和数据仓库的高性能。它支持流批一体处理，提供低延迟数据摄入、高效查询和内置版本管理功能。Paimon采用LSM树结构存储数据，文件布局包括快照、清单、数据和元数据目录，实现高性能读写操作。相比传统数据湖（如Hive），Paimon支持实时数据处理、简化查询流程并提供统一存储方案，适用于实时报表、监控、推荐系统等场景。其核心优势包括高性能写入、生态兼容性和灵活的扩展能力。]]></description><category></category></item><item><title><![CDATA[canal(1.1.8) 部署]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/154831041</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/154831041</guid><author>m0_74880098</author><pubDate>Fri, 14 Nov 2025 18:52:47 +0800</pubDate><description><![CDATA[Canal是阿里巴巴开发的MySQL增量数据同步工具，通过伪装MySQL从库，订阅主库的binlog日志实现数据同步。部署步骤包括：1)MySQL配置binlog并授权；2)下载解压Canal；3)修改配置文件指定输出模式(Kafka)；4)配置实例连接MySQL信息。使用前需确保Java环境正常，启动后可将增量数据实时同步到Kafka等目标端。Canal适用于数据库实时备份、缓存刷新等增量数据处理场景，特点是轻量级、低延迟。常见问题包括Java环境缺失和文件读写权限问题，需通过安装JDK和配置权限解决。]]></description><category></category></item><item><title><![CDATA[paimon部署(1.1.1)]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/154796248</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/154796248</guid><author>m0_74880098</author><pubDate>Thu, 13 Nov 2025 18:30:43 +0800</pubDate><description><![CDATA[本文详细介绍了在CDH 6.3.2集群中部署Apache Paimon的完整流程。主要内容包括：1）在所有节点创建auxlib目录并添加Paimon Hive连接器JAR包；2）配置Hive的辅助JAR目录路径并重启服务；3）升级zstd-jni版本至1.5.5-11，包括替换Hive和YARN相关目录中的旧版本JAR；4）在beeline中执行Paimon表创建和数据操作。完成部署后，成功创建了Paimon表并验证了数据插入与查询功能。整个过程涉及文件操作、权限修改和集群配置调整，最后需重启集群使配置生效]]></description><category></category></item><item><title><![CDATA[单库单表Mysql-canal/maxwell-kafka测试]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/154748085</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/154748085</guid><author>m0_74880098</author><pubDate>Wed, 12 Nov 2025 19:18:10 +0800</pubDate><description><![CDATA[本文对比测试了两种MySQL到Kafka数据同步工具(Canal、Maxwell)的性能表现，构建了完整的测试环境与指标体系。通过模拟企业股东关系数据的全链路同步流程，重点评估了数据插入性能、同步延迟、数据完整性、吞吐量及主从延迟等核心指标。测试采用多脚本协同方式，包括数据生成(python_test_mysql.py)、全链路测试(run_all.py)及工具专项测试，通过批量数据操作与实时监控实现对同步性能的全面量化分析，为企业级数据同步方案选型提供了可靠的基准测试框架。]]></description><category></category></item><item><title><![CDATA[Debezium部署]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/154695091</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/154695091</guid><author>m0_74880098</author><pubDate>Tue, 11 Nov 2025 16:51:43 +0800</pubDate><description><![CDATA[摘要 Debezium是一款开源的CDC(变更数据捕获)工具，能够实时监控数据库的插入、更新和删除操作。它基于Kafka架构，支持MySQL等多种数据库。Debezium具有简单易用、高稳定性等特点，可通过三种方式部署：Kafka Connector、专用服务器或嵌入式引擎。 文章详细介绍了Kafka 4.0与Debezium 3.2的集成方案，包括环境准备、MySQL授权配置以及两种部署方法。第一种采用分布式Connector模式，第二种推荐使用Standalone模式。通过创建测试表并验证数据同步到Ka]]></description><category></category></item><item><title><![CDATA[maxwell(1.44.0)部署]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/154646536</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/154646536</guid><author>m0_74880098</author><pubDate>Mon, 10 Nov 2025 13:21:28 +0800</pubDate><description><![CDATA[摘要 Maxwell是一款基于Java开发的MySQL实时数据抓取工具，通过伪装成MySQL从库读取二进制日志(binlog)，并将数据以JSON格式输出到Kafka等消息队列。相比Canal，Maxwell支持全量/增量数据采集，提供更灵活的数据落地方式。部署Maxwell需要配置MySQL开启binlog(row格式)，创建专用账号并授权，同时初始化元数据库。启动后可将MySQL数据实时同步至Kafka，但需注意Java版本兼容性问题。该工具适用于需要实时监控和分析MySQL数据变更的场景。]]></description><category></category></item><item><title><![CDATA[三节点 Kafka（4.0）部署]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/154638371</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/154638371</guid><author>m0_74880098</author><pubDate>Mon, 10 Nov 2025 12:56:24 +0800</pubDate><description><![CDATA[本文介绍了Kafka分布式消息队列系统的基本概念、架构及部署方法。主要内容包括： Kafka核心概念：主题(topic)、分区(partitions)、副本(replicas)、broker集群和ZooKeeper协调机制 Kafka 4.0引入的KRaft模式，替代ZooKeeper简化集群管理 点对点和发布订阅两种消息模式区别 详细展示了三节点Kafka集群的部署步骤，包括JDK安装、配置文件修改和集群ID生成 部署过程涉及关闭防火墙、下载解压Kafka、配置三个节点的server.properties]]></description><category></category></item><item><title><![CDATA[LDA主题分析代码详解]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/154540675</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/154540675</guid><author>m0_74880098</author><pubDate>Fri, 07 Nov 2025 19:30:19 +0800</pubDate><description><![CDATA[本文详细介绍了基于白鹤梁评论文本的LDA主题分析完整流程代码实现。主要内容包括：(1)从MySQL数据库获取评论文本数据并进行清洗预处理；(2)使用jieba进行中文分词和关键词提取；(3)创新性地采用次高峰策略确定最佳主题数k；(4)利用tomotopy库训练LDA模型并分析主题关键词；(5)通过pyLDAvis生成交互式可视化结果。该实现提供了从数据获取到结果展示的完整解决方案，特别在确定最佳主题数时提出的&quot;次高峰选择策略&quot;有助于避免过拟合，提升模型质量。代码结构清晰，注释完善，可作]]></description><category></category></item><item><title><![CDATA[Paimon快照详解]]></title><link>https://blog.youkuaiyun.com/m0_74880098/article/details/154539871</link><guid>https://blog.youkuaiyun.com/m0_74880098/article/details/154539871</guid><author>m0_74880098</author><pubDate>Fri, 07 Nov 2025 19:21:53 +0800</pubDate><description><![CDATA[Paimon 快照(Snapshot)机制详解：快照作为表在特定时间点的数据状态记录，具有不可变性、版本化和增量存储特性。核心作用包括数据版本控制、时间点恢复和增量处理。通过配置快照过期参数（保留时间、数量限制）和创建参数（合并大小、并发变更数）来管理存储空间和性能。快照策略采用滑动窗口机制自动清理过期数据，同时支持合并小快照优化存储。提供多种操作方式：SQL/API创建快照、查询快照信息、读取特定版本数据，以及手动合并快照优化性能。]]></description><category></category></item></channel></rss>