CJH_USER-优快云博客

原创手把手教你用 Maxwell 实现 MySQL Binlog 实时采集到 Kafka

本文介绍了MySQL实时抓取工具Maxwell的安装部署过程。Maxwell是一款Java开发的工具，能够实时读取MySQL二进制日志Binlog并生成JSON格式消息发送至Kafka等平台。部署步骤包括：1)安装前提组件Kafka和MySQL；2)解压安装包；3)配置MySQL开启binlog并创建元数据库；4)修改Maxwell配置文件指定Kafka连接、目标topic和MySQL连接信息；5)启动Maxwell服务。配置中特别注意了按主键分区避免数据倾斜问题。

2025-08-15 08:25:39 266

原创超详细Kylin 4.0.4安装指南：从环境搭建到Web访问，保姆级教程一篇搞定！

摘要：本文介绍了Apache Kylin 4.0.4在Hadoop 3.1.x、Spark 3.1.x和Hive 3.1.x环境下的部署流程。主要内容包括：上传并解压安装包、配置MySQL元数据存储、修改kylin.properties配置文件（设置HDFS工作空间、Zookeeper连接等）、创建MySQL数据库。启动前需确保Hadoop和Zookeeper集群已运行，启动后可通过7070端口访问Web UI（默认账号ADMIN/KYLIN）。首次启动需补充commons-configuration和co

2025-07-08 10:35:14 538

原创 Hive 中拉链表的使用总结

摘要：拉链表（Zipper Table）是数据仓库中处理缓慢变化维（SCD Type 2）的技术，通过记录维度属性的历史版本，形成一条按时间维度的变更链。其核心字段包括业务主键、描述字段、生效时间（start_date）和失效时间（end_date，当前有效记录通常标记为9999-12-31）。实现步骤：初始化：首次加载时所有记录设为当前有效状态。增量更新：通过比对源表变化，关闭旧记录（更新end_date）并插入新版本。Hive中需复杂SQL逻辑处理变更合并。优缺点：优点：完整历史追溯、支持时

2025-06-17 20:22:34 993

原创进阶Hive技巧：使用UDF高效提取两个日期之间的完整月份列表

输入两个日期字符串，输出这两个日期之间所有月份的字符串列表（格式为yyyy-MM。

2025-06-04 20:08:02 550

原创手把手教你搭建生产级Hive环境：从零配置Hadoop到MySQL元数据同步

本文详细介绍了在Linux环境下安装和配置Apache Hive的步骤。首先，检查Java、MySQL和Hadoop环境是否已安装并正常运行。接着，创建目录存放Hive安装包并解压，配置环境变量。然后，修改hive-env.sh文件，设置相关路径和参数。在HDFS中创建必要的文件夹并设置权限。随后，配置Hive使用MySQL作为元数据存储，创建hive-site.xml文件并添加MySQL连接信息。上传MySQL驱动包后，初始化元数据。最后，通过Hive命令行测试安装是否成功，包括创建表、插入数据等操作。整

2025-05-20 20:44:30 575

原创 Hadoop HDFS伪分布式集群搭建

本文详细介绍了如何搭建伪分布式HDFS集群。首先，进行安装准备工作，包括关闭防火墙和SELinux、安装JDK并配置环境变量，以及设置SSH免密登录。接着，进行Hadoop的安装与配置，包括解压安装包、设置环境变量、修改核心配置文件（如core-site.xml、hdfs-site.xml、hadoop-env.sh和workers文件）。最后，对集群进行namenode格式化并启动集群，通过浏览器访问HDFS集群。整个过程涵盖了从基础环境准备到Hadoop集群启动的完整步骤，适合初学者快速上手伪分布式HD

2025-05-12 20:12:12 636

原创在Linux中使用rpm安装MySQL

在Linux系统中使用rpm安装MySQL的步骤包括：首先上传并解压安装包到指定目录，检查并卸载已安装的MariaDB以避免冲突。接着，依次安装MySQL的各个组件，并确保安装必要的依赖项如net-tools、perl和libaio。安装完成后，启动MySQL服务并查看其状态。为了安全，需要修改默认密码，并调整密码校验规则以简化密码要求。最后，创建用户并授权以允许远程连接，确保刷新权限使更改生效。这一系列操作确保了MySQL在Linux系统上的正确安装和配置。

2025-05-10 16:25:54 196

原创在Linux系统下安装JDK

本文介绍了在Linux系统中安装和配置JDK的步骤。首先，创建了两个目录 /opt/modules 和 /opt/installs，分别用于存放安装包和解压后的软件。接着，将JDK安装包上传到 /opt/modules 目录，并解压到 /opt/installs 目录。解压后，重命名JDK文件夹为 jdk。然后，通过编辑 /etc/profile 文件配置环境变量，添加 JAVA_HOME 和 PATH 的路径。最后，刷新配置文件并验证JDK安装是否成功，通过 java -version 命令查看版本信息，

2025-05-10 10:19:18 265

原创 Linux命令

本文介绍了Linux系统中常用的命令及其用法，涵盖了文件与目录操作、文件内容查看、压缩与解压缩、文件查找、系统信息查看、时间管理以及编辑器的使用。主要内容包括：cd切换目录、ls列出目录内容、mkdir创建目录、touch创建文件、echo输出内容、cp复制文件、mv移动或重命名文件、rm删除文件、cat等查看文件内容的命令、gzip和tar压缩与解压缩、find查找文件、grep查找文件内容、df和du查看磁盘使用情况、date查看时间、reboot和shutdown管理系统开关机，以及vi和vim编辑器

2025-05-10 08:19:15 566