<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[DolphinProMax的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/DolphinProMax</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; DolphinProMax]]></copyright><item><title><![CDATA[Canal安装]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/155538454</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/155538454</guid><author>DolphinProMax</author><pubDate>Wed, 03 Dec 2025 20:09:16 +0800</pubDate><description><![CDATA[它的核心作用是，主要用于解析，把这些变化数据同步到其他系统，比如 Kafka、Elasticsearch，甚至是其他数据库。常见的用例数据同步： 你有两个 MySQL 数据库，一个主数据库（生产库），一个从数据库（备份库），Canal 就是“搬运工”，实时把数据变化从主库同步到从库。数据中台： 你需要把 MySQL 的数据实时推到 Kafka，然后再分发到各种业务系统。消息驱动： 当数据库里某条数据变化，需通知其他系统（如生成一个订单 发通知到库存系统）。]]></description><category></category></item><item><title><![CDATA[eventTime+watermarker+allowedLateness]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/155458910</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/155458910</guid><author>DolphinProMax</author><pubDate>Mon, 01 Dec 2025 18:48:00 +0800</pubDate><description><![CDATA[结论：窗口的关闭需要带 watermarker 的时间我想使用 kafkaUI 界面发送 json 数据给 kafka,json 数据长这个样子：这个数据我是编写了一个代码生成的//1. env-准备环境DataStreamSource<OrderInfo> streamSource = env.addSource(new MySource(), "自动创建订单");]]></description><category></category></item><item><title><![CDATA[[傻瓜式教程]Kafka Windows部署 ]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/155451911</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/155451911</guid><author>DolphinProMax</author><pubDate>Mon, 01 Dec 2025 18:41:56 +0800</pubDate><description><![CDATA[在这个目录下：D:\tools\kafka_2.13-3.8.1\bin\windows。可以编写一个 windows 版本的 shell 脚本，点击一下，直接启动。可以创建 topic,并且收发消息进行测试，发现非常快速，测试完成。接着在桌面上点击这个 bat 文件即可。重命名 zoo.cfg。]]></description><category></category></item><item><title><![CDATA[Flume零点漂移 解决思路]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/154955893</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/154955893</guid><author>DolphinProMax</author><pubDate>Mon, 17 Nov 2025 19:16:18 +0800</pubDate><description><![CDATA[我将采用自定义拦截器和Flume配置文件的方法 拦截器和flume配置文件一定要对应


Flume文件]]></description><category></category></item><item><title><![CDATA[Flume读取kafka 分区A到分区B失败场景]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/154842438</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/154842438</guid><author>DolphinProMax</author><pubDate>Fri, 14 Nov 2025 17:30:58 +0800</pubDate><description><![CDATA[解决后：问题在于flume的拦截器配置问题。#拦截器处理，topic覆盖问题。自行修改ip等数据使用。#channels定义。#sources定义。]]></description><category></category></item><item><title><![CDATA[Spark数据来源]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/154358363</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/154358363</guid><author>DolphinProMax</author><pubDate>Mon, 03 Nov 2025 19:20:31 +0800</pubDate><description><![CDATA[Spark数据来源。]]></description><category></category></item><item><title><![CDATA[KingbaseES常用配套工具]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/154344065</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/154344065</guid><author>DolphinProMax</author><pubDate>Mon, 03 Nov 2025 12:18:51 +0800</pubDate><description><![CDATA[本文介绍了金仓数据库（KingbaseES）系列工具的六大核心功能模块及辅助运维工具： 数据迁移工具（KDTS）支持异构/同构数据库迁移，提供图形化界面和自动类型转换； 迁移评估工具（KDMS）可进行迁移前兼容性分析和SQL转换； 开发管理工具（KStudio）提供SQL编辑、调试等一体化开发环境； 运维管控平台（KOPS）实现多实例集中监控与批量管理； 快速开发平台（KESPlus）整合应用开发与数据库运维； 云数据库服务（KRDS）支持多云环境下的全生命周期管理。 此外还包含数据收集、诊断、备份等实用运]]></description><category></category></item><item><title><![CDATA[KingbaseES（人大金仓）Linux系统部署]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/154140780</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/154140780</guid><author>DolphinProMax</author><pubDate>Thu, 30 Oct 2025 19:45:26 +0800</pubDate><description><![CDATA[在安装KingbaseES时，安装用户对于安装路径需有“读”、“写”、“执行”的权限。也可以自定义安装路径。定制安装：在数据库服务器、高可用组件、接口、数据库开发管理工具、数据库迁移工具、数据库部署工具所有组件中自由选择。根据安装后数据库服务功能的不同，KingbaseES可分为完全安装、客户端安装和定制安装三种安装集。完全安装：包括数据库服务器、高可用组件、接口、数据库开发管理工具、数据库迁移工具、数据库部署工具。客户端安装：包括接口、数据库开发管理工具、数据库迁移工具、数据库部署工具。]]></description><category></category></item><item><title><![CDATA[人大金仓 KingbaseES 数据库深度解析]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/153971793</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/153971793</guid><author>DolphinProMax</author><pubDate>Mon, 27 Oct 2025 15:42:44 +0800</pubDate><description><![CDATA[人大金仓作为国产数据库&quot;国家队&quot;核心成员，其核心产品KingbaseES(KES)形成了三大分布式架构模式：TDC集群支持高并发事务场景，Sharding集群满足混合负载需求，ADC集群面向大数据分析。同时通过多模一体化存储和集中-分布一体化架构，实现关系型、文档、时序等数据的统一管理，支持从单机到分布式的平滑扩展。此外还提供异地多活灾备和异构同步等增强模式，满足关键行业对高可用性和国产化替代的需求。]]></description><category></category></item><item><title><![CDATA[Spark on Hive]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/153272076</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/153272076</guid><author>DolphinProMax</author><pubDate>Tue, 14 Oct 2025 19:51:40 +0800</pubDate><description><![CDATA[Hive 作为主导框架，将默认计算引擎从 MapReduce 替换为 Spark，即用 Spark 执行 HQL 查询，充分利用 Spark 的内存计算优势提升 Hive 的处理速度。Spark 作为主导框架，通过 Spark SQL 读取 Hive 的元数据（Metastore），直接操作 Hive 中的数据，即用 Spark SQL 处理 Hive 表数据，此时 Hive 仅作为 “元数据管理器” 和 “数据存储层”。维度主导框架Hive（HQL 为入口）]]></description><category></category></item><item><title><![CDATA[Flume工具]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/152006405</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/152006405</guid><author>DolphinProMax</author><pubDate>Tue, 23 Sep 2025 19:00:52 +0800</pubDate><description><![CDATA[Apache Flume 是Apache基金会开发的分布式日志采集工具，专为海量流式数据（如服务器日志、传感器数据）设计，提供可靠传输至HDFS、HBase等存储系统。其核心架构基于Agent（Source采集→Channel缓冲→Sink输出），支持事务机制确保数据不丢失，可通过多Agent串联构建复杂采集拓扑。特性包括：持久化通道（FileChannel/KafkaChannel）、拦截器数据加工、故障转移Sink组等。相比同类工具（Kafka Connect/Fluentd），Flume更专注Hado]]></description><category></category></item><item><title><![CDATA[ZooKeeper的选举算法]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/151763659</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/151763659</guid><author>DolphinProMax</author><pubDate>Tue, 16 Sep 2025 20:19:01 +0800</pubDate><description><![CDATA[在分布式系统中，“ZK” 通常指（Apache ZooKeeper），它是一个用于提供分布式协调服务的开源组件，核心功能包括配置管理、命名服务、分布式锁和等。ZooKeeper 的选举算法是其保证高可用的关键，经历了从到（Zab 协议的核心部分）的演进，目前生产环境中均使用。要理解 ZK 的选举算法，需先明确其集群角色和核心概念，再拆解选举的触发场景、核心逻辑和流程。]]></description><category></category></item><item><title><![CDATA[HDFS的纠删码技术ErasureCoding]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/151762171</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/151762171</guid><author>DolphinProMax</author><pubDate>Tue, 16 Sep 2025 18:42:51 +0800</pubDate><description><![CDATA[在理解原理前，需明确两个关键参数（以 HDFS 常用的数据块数量（k）：原始数据被分割为 k 个等大小的块（如 k=6，即 6 个数据块）。校验块数量（m）：通过编码算法生成 m 个用于恢复数据的校验块（如 m=3，即 3 个校验块）。条带（Stripe）：由 “k 个数据块 + m 个校验块” 组成的最小编码单元（如 6+3=9 个块构成 1 个条带）。块大小：条带中每个块的固定大小（如 1024k，即 1MB）。HDFS 纠删码技术是对传统副本机制的重要补充，其核心价值在于。]]></description><category></category></item><item><title><![CDATA[Hadoop 框架入门：核心架构与工作原理]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/151724313</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/151724313</guid><author>DolphinProMax</author><pubDate>Mon, 15 Sep 2025 19:36:45 +0800</pubDate><description><![CDATA[Hadoop 是一个开源的分布式计算框架，专为处理海量数据（TB/PB 级）设计，具有高容错性、高扩展性和低成本的特点。它的核心是和两大能力，通过集群化部署实现对大规模数据的高效处理。]]></description><category></category></item><item><title><![CDATA[Hadoop集群的高可用（HA）搭建]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/151723452</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/151723452</guid><author>DolphinProMax</author><pubDate>Mon, 15 Sep 2025 18:40:22 +0800</pubDate><description><![CDATA[本文介绍了Hadoop高可用集群的配置过程，主要包括ZooKeeper集群搭建、HDFS和YARN高可用配置。配置步骤包括：1)设置ZooKeeper集群环境变量和数据目录；2)配置HDFS高可用性，包括NameNode、JournalNode和故障转移设置；3)配置YARN资源管理器高可用性；4)节点规划与软件安装要求；5)ZooKeeper集群的详细配置步骤；6)HDFS和YARN服务的启动流程。整个过程涉及多节点协调、环境变量设置、XML配置文件和服务的启动顺序管理。]]></description><category></category></item><item><title><![CDATA[Linux inode]]></title><link>https://blog.youkuaiyun.com/DolphinProMax/article/details/151075926</link><guid>https://blog.youkuaiyun.com/DolphinProMax/article/details/151075926</guid><author>DolphinProMax</author><pubDate>Mon, 01 Sep 2025 17:43:22 +0800</pubDate><description><![CDATA[inode 的全称是Index Node（索引节点），本质是一个存储文件元数据的结构体。当在 Linux 中创建一个文件时，文件系统会自动分配一个唯一的inode 编号（inode number）和对应的 inode 结构体，用于记录文件的关键信息；而文件名则存储在目录文件中，通过 “文件名 -> inode 编号” 的映射关系，实现用户对文件的访问。可以类比：inode 相当于文件的 “身份证”（记录核心信息），inode 编号是 “身份证号”（唯一标识），文件名是 “人的名字”（方便称呼，但可改）。]]></description><category></category></item></channel></rss>