SunTecTec

原创 【阿里巴巴JAVA开发手册】IDE的text file encoding设置为UTF-8； IDE中文件的换行符使用Unix格式，不要使用Windows格式。

问题：当使用 IDEA SSH 远程开发时，SFTP 同步的 Windows 本地编辑的 config/plugin_config 文件文本内容中 “换行符”与 Unix、Linux 的文件文本内容换行符字符集不一致，导致 docker 容器中自定义 /opt/seatunnel/bin/install_plugin 在执行以 Windows 下编辑的 config/plugin_config 时，遍历行读该文件内容格式提供给 mvnw 命令执行，执行过程异常，mvnw下载错误 BUILD FAILURE。

原创 Error response from daemon: failed to set up container networking: Address already in use

原因：docker compose up -d 启动docker服务，容器端口始终被占用，container status:created。使用命令查看端口启动进程号及用户。

原创 Funny GitHub Badges

github的README上加入标签/图像链接/badges。

原创 Idea 项目远程开发 Remote Development

1. File -> Remote Development2. New ConnectionConnect to SSH Connection3. Project directory -> git clone <https.github.com.git> -> Project Root Directory will build automatically4. Finished

原创 git clone 加速

git clone 加速

原创 LGTM？Github中那些迷之缩写

就像你可能不知道 现充 其实是 现实生活很充实的人生赢家 的缩写一样，我们经常看到 Github 上的码农们在 code review 时，把乱七八糟的缩写写得到处都是——娴熟的司机们都会使用缩写来达到提高逼格的效果——我们第一次看到时还是会出现一脸懵逼的状况，这里整理一下这些缩写都是什么含义，以后我们也可以欢快地装逼了。目前为止只见过这些，欢迎补充 =。

原创 SQL Server CDC 机制全解：如何用 SeaTunnel 实现高效实时数据同步

在构建 AI-Ready 企业级数据集成方案中，SQL Server 的 CDC（Change Data Capture）机制为 Apache SeaTunnel 提供了稳定的变更数据捕获能力，适用于构建与。以下是对其工作机制、实现原理、应用模式的系统介绍。是 SQL Server 提供的一种变更数据捕获机制，它会记录数据库表中INSERTUPDATEDELETE操作，并将变更内容写入系统维护的 CDC 表中。相比传统轮询或触发器，CDC 提供：非侵入式设计（不修改原始表结构）低延迟变更记录。

原创 java.lang.NoClassDefFoundError: Could not initialize class org.apache.paimon.shade.org.apache.avro.L

【代码】java.lang.NoClassDefFoundError: Could not initialize class org.apache.paimon.shade.org.apache.avro.L。

原创 Typora + 坚果云 - 上云最佳组合拍档 完美解决.md文件自动远程同步方案

2、为了使本地 typora 更加的好用，现在开始上云。采用坚果云方法，云空间默认 1GB Upload / mounth & 3GB Download / mounth。1、首先 Typora 激活后，在 Preference 设置 自动保存 和 每次启动打开上次使用的文件和目录。此时，本地 typora 已具备本地宿主主机编辑并自动保存办公 markdown 文档的便捷功能。使用 typora 打开坚果云路径下文件夹即可。

原创 Confluent Documentation - Confluent Platform - Quick Start - Docker Deployment

【代码】Confluent Documentation - Confluent Platform - Quick Start for Confluent Platform Docker Deployment。

原创 docker compose yml 启动的容器中，如何使用linux环境变量赋值

在 Docker Compose 中，可以通过环境变量（以下是几种常见的使用方式 -可以单独定义一个环境变量文件（如。这种方式适合管理多个环境（如。

原创 Linux 个人用户设置账号密码环境变量，四种方式

export PATH=/usr/local/nginx/sbin/:$PATH，将 /usr/local/nginx/sbin/ 目录临时添加到环境变量中。文件末尾添加：export PATH="/usr/local/nginx/sbin/:$PATH"文件末尾添加：export PATH="/usr/local/nginx/sbin/:$PATH"编辑 /etc/profile 文件 vim /etc/profile。打开 /etc/environment ，在最后添加，运行下面2条命令。

原创 docker push 报错 denied: requested access to the resource is denied

在 docker build -t <username>/nginx-custom:v1 构建 image 或者 docker tag <username>/nginx-custom <username>/nginx-custom:v1 对镜像打标签起别名时，对镜像名中加入了用户名，而此镜像的用户名又不是 docker hub 网页端或者客户端登录的用户名，即不同用户，不属于该用户的镜像，拒绝写入登录用户的 repositories 中。

原创 Win11 聚焦锁屏壁纸位置

将 TranscodedWallpaper 文件复制粘贴出来，文件名改名为 .jpg 结尾即可。

原创 Ubuntu 查看1433端口是否被占用

【代码】Ubuntu 查看1433端口是否被占用。

原创 docker compose 启动指定的 service

流程概览在开始之前，我们先来了解一下整个流程，如下表所示：接下来，我们将逐步介绍每个步骤以及需要执行的操作。

原创 Linux grep -r 查找依赖包是否存在依赖类 Class

在 jar 包所在 lib 或者 lib/plugins 目录下执行，grep -r，

原创 IDEA 查看 MAVEN 依赖包的依赖图

原创 com.amazonaws.SdkClientException: Unable to load AWS credentials from environment variables (AWS_ACC

在 docker exec -it container-name /bin/bash 容器中或者 Linux 环境变量中，使用先执行添加临时环境变量。：Flink SQL Client - Paimon 创建 Minio S3 Storage Catalog，报错环境变量异常。

原创 Flink 1.20 SQL Client command issue，close by must typing ‘bin/sql-client.sh embedded shell‘ enforced

在编写 docker flink sql client from sql server to paimon minio S3 storage 的 flink sql 中，任务的 sink 端一直无法创建 paimon 以 minio S3 存储的 catalog，重复检查 sql s3 中 key、bucket、grant、export key environment value 多次报出相同错误 Forbiden 403，可抵达 minio 但被拒绝访问。

原创 MinIO WebUI 页面使用

上传文件到桶，选择Share。

原创 Could not find any factories that implement ‘org.apache.flink.table.delegation.ExecutorFactory‘

解决： 如果要在本地用IDE（比如IntelliJ IDEA或Eclipse）调试Table API&SQL程序，则还需要加入如下依赖 -问题：Flink 本地运行 Table Api & SQL 报错。

原创 美化IDEA注释：Idea 中快捷键 Ctrl + / 自动注释的缩进（避免添加注释自动到行首）以及 Ctrl + Alt + l 全局格式化代码的注释缩进

美化IDEA注释：Idea 中快捷键 Ctrl + / 自动注释的缩进（避免添加注释自动到行首）以及 Ctrl + Alt + l 全局格式化代码的注释缩进

原创 SQL Server To Paimon Demo by Flink standalone cluster mode

操作：启动 Flink standalone cluster 后，接着启动 Flink SQL Client，则通过 Flink SQL Client 提交 insert & select job 到该 8081 cluster。需求：使用 Flink CDC 测试 SQL Server 连接 Paimon。Flink SQL Client 执行案例 -

原创 SqlServerStreamingChangeEventSource - No maximum LSN recorded in the database； please ensure 异常处理

No maximum LSN recorded in the database 这个问题伴随在 Caused by: org.apache.flink.table.api.ValidationException: SqlServer database poc_db do not enable cdc. 之后。：Flink CDC 读取 SQL Server ，需要先准备好 SQL Server enable Database CDC & enable Table CDC。指定的文件组必须已存在。

原创 Flink bin/sql-client.sh Connection refused: localhost/127.0.0.1 .网关 Gate Connect Exception Deal 异常处理

Flink 1.20.1 在配置 config.yaml 中 jobmanager、taskmanager、rest 的 ip 地址后，依次启动 standalone session cluster & bin/sql-client 后，出现要么 Flink WebUI 端显示 & Flink SQL Client 连接Connection拒绝、Gate网管 Exception，或者要么出现 Flink SQL Client 运行正常 & Flink WebUI 8081 无法连接。

原创 org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy

由于第一个 snapshot for checkpoint 就无法写入 file:/tmp/paimon，所以 docker flink insert into 流/批作业都无法执行。当使用 Paimon官方提供的 Flink SQL Client 提交测试时，无法执行 insert into paimon 持续报错 -Docker Container 无法直接使用 Paimon Connector 写到 Linux local file path。

原创 Docker 打上 Tag 和 Push 的意思

是两个关键操作，用于管理镜像的版本并上传到镜像仓库（如 Docker Hub、阿里云 ACR、Harbor 等）。：将本地打好 Tag 的镜像上传到远程 Docker 仓库（如 Docker Hub、私有仓库）。，可以在 Docker Hub（或其他仓库）查看该镜像，并在其他机器上通过。：为 Docker 镜像指定一个版本标签，方便后续识别和管理。这样，你就可以方便地管理和分发 Docker 镜像了！是私有仓库（如阿里云 ACR），需要先。：新的镜像名称（通常包含仓库地址）：本地已有的镜像名称或 ID。

原创 About why docker application mode taskmanager not down in time

Tips: docker flink application mode 当任务完成或者jobmanager cancel，则taskmanager会因为flink集群机制继续保留监听等待jobmanager发送任务命令，当超过大约6 mins，taskmanager便会自动exited退出。

原创 Dockerfile 编写根据需求阶段而出现

在 Flink 的 Docker 部署中，是否需要编写。：如需固化 JAR、安装依赖或定制配置，应自定义镜像。需要分发镜像到其他环境（如 CI/CD 流水线）。：如果仅挂载 JAR 文件，直接使用官方镜像即可。取决于你的具体需求。直接使用官方镜像，无需维护自定义镜像。（如安装额外依赖、调整配置）。希望镜像自包含，避免挂载文件。构建镜像，确保环境一致性。适合快速验证或简单任务。

原创 问题 ERROR: for jobmanager ‘ContainerConfig‘ 原因及解决

使用 docker-compose version 和 docker compose version 可以看到，此时系统同时有两个版本的docker compose，而v1版本已被废除。使用 docker compose v2 版本的形式，docker compose up -d 即可。

原创 Flink Docker Application Mode 命令解析 - 修改命令以启用 Web UI

Web UI 仅在 Job 运行期间短暂可用（任务结束后容器退出）。，如果看到 Flink Dashboard 表示成功。，即可看到 Flink Dashboard。：无持久化 Web UI，适合一次性任务。：提供 Web UI，适合长期运行的集群。，这样 Flink 会以常驻服务运行。，任务完成后容器会退出（尤其是加了。不适合生产环境，仅建议调试使用。检查防火墙/安全组是否放行。

原创 Flink Docker Application Mode 命令解析

JobManager 和 TaskManager 必须使用同一个网络（如果 JAR 有额外依赖（如配置文件、Lib 目录），需额外挂载到。TaskManager 需要访问 JobManager，因此。以下是 Flink 官方提供的 Docker 命令，用于在。这样， Flink Job 就会在 Docker 集群中以。下（Flink 默认加载该目录下的 JAR）。如果有问题，可以检查日志或调整挂载路径。由于你的 JAR 是单个文件，直接挂载到。下运行 Flink Job（已创建（若没有，运行。

原创 Linux 在个人家目录下添加环境变量 如FLINK_PROPERTIES=“jobmanager.rpc.address: jobmanager“

打开终端，编辑你的 shell 配置文件（通常是。

原创 一个初始 flink lab maven demo项目的 pom.xml 文件

【代码】一个初始 flink lab maven demo 项目的 pom.xml 文件。

原创 IDEA2023.3.4 将普通项目转Maven项目

原创 Idea 配置 Git

3、idea -> settings -> git 设置 git.exe 路径。2、win 打开 git bash ，配置邮箱和用户名。

原创 Docker 与 Docker-Compose 的区别

Docker像是"单兵作战"工具，适合管理单个容器像是"指挥官"，可以协调多个容器组成的应用系统两者通常结合使用 - 用 Docker 构建单个容器镜像，用 Docker-Compose 编排由这些镜像组成的完整应用。

原创 Docker 快速入门教程

1、创建Dockerfile。

原创 数据集市、数仓、数据湖：一文读懂术语

5️⃣ 数据网格：数据网格是一种数据架构模式，将数据视为一种产品，强调数据的去中心化管理和分布式所有权。在数据网格中，数据由不同的业务领域或团队辅助管理和维护，各个团队可以独立地开发、部署和管理自己的数据产品，同时通过标准化的接口和协议实现数据的共享和互操作。4️⃣ 数据管道：数据管道是一系列数据处理步骤，用于将数据从一个或多个数据源传输到一个或多个数据目标。3️⃣ 数据湖：数据湖是一个大型仓库，用于存储企业各种原始数据，包括结构化数据、半结构化数据和非结构化数据。数据术语大揭秘：数仓、数据湖、数据集市。