- 博客(16)
- 收藏
- 关注
RSS订阅原创 DataX-web安装使用教程
本文详细介绍了DataX与DataX-web的安装配置流程。首先需确保环境安装MySQL(5.5+)、JDK1.8和Python2.x（支持Python3需替换文件）。DataX安装需下载解压并通过自检脚本验证。DataX-web安装需创建数据库、执行SQL脚本并配置DataX路径。启动服务后登录Web界面(默认admin/123456)，修复可能出现的表结构错误。任务配置时注意调整core.json中的bps限速参数(建议byte设为5MB)，避免执行失败。最后可通过Web界面创建、执行和监控数据同步任务
2025-11-14 16:18:31
587
原创 Kafka重点
Kafka是一个分布式发布-订阅消息系统，具有高吞吐量、低延迟和可扩展性。其架构包含Producer、Consumer、Broker等组件，支持分区和副本机制确保高可用性。文档详细介绍了Kafka的基本概念、命令操作、生产者发送流程（包括应答机制、幂等性和事务）、消费者消费策略（包括分区分配、offset管理和数据积压处理）。同时涵盖了Kafka高效读写数据的技术原理（如稀疏索引、零拷贝）以及消息可靠性保障机制（如ISR集合）。通过调整批次大小、延迟时间等参数可优化生产者吞吐量，而增加分区和消费者数量可解决
2025-04-14 23:33:17
796
原创 Flink 检查点Checkpoint、状态后端StateBackend、重启策略Restart
Flink 检查点Checkpoint、状态后端StateBackend、重启策略Restart
2025-03-19 15:34:06
1405
原创 Flink SQL窗口（TUMBLE、HOP、SESSION、CUMULATE、OVER）
Flink SQL窗口需要有时间，时间是为窗口服务的。Flink建表语句。
2025-03-17 21:40:01
1225
原创 Notepad++下载安装及连接服务器流程
Notepad++ 是一款文本编辑工具，支持27种编程语言，它支持多种编程语言，并且提供了代码高亮、语法折叠、宏等功能，使得代码编辑更加高效。
2025-01-14 11:15:14
1291
原创 Centos7下Docker的安装和使用
Docker Swarm 是 Docker 提供的集群管理和调度工具。它允许将多个 Docker 主机（节点）组织成一个集群，并通过 Swarm 集群管理工具来调度和管理容器。Swarm 可以实现容器的负载均衡、高可用性和自动扩展等功能。功能：管理多节点 Docker 集群。通过调度器管理容器的部署和扩展。
2025-01-13 17:09:45
705
原创 ClickHouse解析json
'[{"name":"天台","tall":100,"model":"M779011"},{"name":"楼顶","tall":90,"model":"M669011"}]' AS new,如果该部分不存在或类型错误，则将返回空字符串。如果该部分不存在或类型错误，则将返回空字符串。如果该部分不存在或类型错误，则将返回空字符串。如果该部分不存在或类型错误，则将返回空数组。如果该部分不存在或类型错误，则将返回0。如果该部分不存在或类型错误，则将返回0。如果该部分不存在或类型错误，则将返回0。
2024-04-18 18:45:16
3761
1
原创 SeaTunnel下载安装与使用
SeaTunnel是一个简单易用的数据集成框架，可运行于自身引擎或架构于Apache Spark 和 Apache Flink之上。数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。SeaTunnel支持海量数据的实时同步。它每天可以稳定高效地同步数百亿数据。SeaTunnel的前身是Waterdrop（中文名：水滴）自2021年10月12日更名为SeaTunnel。
2023-07-13 11:44:54
6556
4
原创 ClickHouse安装与下载
ClickHouse是俄罗斯的Yandex于2016年开源的一个用于联机分析(OLAP:Online Analytical Processing)的列式数据库管理系统(DBMS:Database Management System) , 主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。ClickHouse的全称是Click Stream，Data WareHouse，简称ClickHouse。
2023-07-05 18:58:19
7196
2
原创 PostgreSQL 使用存储过程每日统计数据库所有模式下的每张表的数量
- 定义游标 并将sql语句查询出来的 模式.表名 赋值给 table_cursor。-- 游标中取到表名赋值给变量my_table_name。-- 将表的数据量赋值给 table_rows。-- 等下接收 查询出来的 模式.表名。--将得到的数据插入到数据表中。-- 等下接收 计算的数据量。--删除昨天统计数据。--返回值，随便写的。
2023-06-09 12:12:17
3142
原创 Centos7下安装PostgreSQL15
虽然系统安装了15版本的pgsql，但是psql这个脚本却引用了旧的版本。修改监听地址为任意地址，即修改postgresql.conf文件。来下载软件，只需选择对应版本和平台，即可生成下载和安装的脚本。允许所有IP访问，即修改 pg_hba.conf 文件。PostgreSQL版本：PostgreSQL15。为了可以通过Navicat等工具连接，进行以下设置。使用命令进入pgsql 时会抱错，需解决该问题。用Navicat连接数据库，连接信息如下图所示。替换系统中旧版本的psql脚本为新的版本。
2023-05-05 17:52:17
2011
1
原创 Mysql的模糊查询及正则表达式
MySQL模糊查询主要使用LIKE（_匹配单个字符，%匹配任意长度字符）和REGEXP正则表达式。LIKE支持'%徽‘，'安%';等简单模式匹配，而REGEXP提供更强大的模式匹配功能，如^匹配开头、$匹配结尾、.匹配任意字符、量词{n,m}控制匹配次数等。正则表达式还支持字符集[a-d]、排除集[^a-d]和分组匹配等高级功能，适用于更复杂的字符串匹配需求。两种方法可根据实际需求选择使用，LIKE适合简单模糊查询，REGEXP则能满足更精确的模式匹配要求。
2022-12-29 16:38:05
799
原创 SQL重点语法
摘要：本文详细介绍了MySQL和PostgreSQL的增量同步策略，包括冲突处理机制。MySQL使用REPLACE INTO和INSERT IGNORE来处理主键冲突；PostgreSQL通过ON CONFLICT子句实现复杂的冲突处理逻辑。第二部分深入解析SQL窗口函数，包括聚合、排名、取值函数，并给出实际应用案例：7天连续登录用户查询和区域商品销售TOP3分析。文中还提供了完整的建表语句和测试数据，便于读者实践应用。
2022-12-06 17:59:00
1879
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人