f4vinny的专栏

摘要：本文分析了Dinky平台上Flink任务频繁占用MongoDB连接数的问题。主要原因是Flink任务持续重启导致连接无法复用、连接参数配置不合理（如超时时间过短）以及连接池设置不当。通过实验测试发现：每个MongoCDC任务会维持2个连接，连接数随任务重启而波动但不会无限增长；未分片集合只能由单个Subtask监听导致其他并行任务闲置。解决方案包括：1)优化Mongo连接参数（设置合理超时和连接池大小）；2)调整Flink重启策略为指数延迟模式；3)配置YARN任务重试策略。测试表明优化后连接数保持稳

本文详细记录了Hive 3.1.0的安装配置过程及遇到的问题解决方案。主要内容包括：1）解压安装包并配置环境变量；2）解决jar包冲突(如log4j、guava)；3）配置Metastore到MySQL数据库；4）修改hive-site.xml配置文件；5）解决Java版本兼容性问题（替换Java 11为Java 8）；6）处理路径变量问题（替换${system:java.io.tmpdir}）；7）初始化数据库schema；8）配置Flink与Hive集成所需jar包。最后完成Flink on Hive的

本文介绍了Flink集群的安装配置步骤：在192.168.12.126-128三台机器上部署Flink，其中126作为master节点，其余作为worker节点。详细说明了Flink Web UI访问地址(http://192.168.12.126:8083)，并重点介绍了SQL Gateway的启动方式，需指定endpoint地址和端口参数。最后给出了通过SQL Client连接Gateway的指令，使用flink01:8084作为端点地址。配置过程涵盖了集群部署、服务启动和客户端连接等关键环节。

摘要：本文介绍了Hadoop客户端和Flink on YARN的安装配置流程。首先通过scp命令从Hadoop集群复制安装包，解压并创建软链接，配置环境变量。然后在Hadoop配置文件中设置类路径。Flink安装方面，解压安装包并创建软链接，配置环境变量。由于Flink on YARN依赖YARN资源管理，只需安装客户端即可，支持session、per-job和application三种任务提交模式。配置完成后即可在Dinky或StreamPark上开发和提交Flink任务。

为了降低实时开发任务的复杂度，降低实时编码的门槛，特安装flink-sql管理平台（flink-streaming-platform-web）。gitee上提供了flink1.16.2比较全的文档，其他版本需要自己根据源码做修改，自己编译打jar包。将其改为flink-streaming-platform-web_1.20.0.tar.gz。随着实时需求的提出以及公司对于实时性的要求，需要在数据组安装基于flink的实时集群。该组建为国内开源实现，目前是由程慧培个人维护。这里会报错，需要做相应的一些修改。