Flink ClickHouse Sink - 使用 Class.forName 导致卡死问题解决方案

于 2023-09-15 15:54:52 发布
阅读量262 收藏
点赞数
文章标签： flink clickhouse 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2301_79367634/article/details/132905645
版权
大数据 专栏收录该内容
215 篇文章 ¥59.90 ¥99.00
订阅专栏

Flink ClickHouse Sink - 使用 Class.forName 导致卡死问题解决方案

在处理大数据时，Apache Flink 是一个非常流行的分布式流处理框架，而 ClickHouse 则是一种快速、可扩展的列式数据库。在使用 Flink 将数据写入 ClickHouse 时，我们通常会使用 Flink 的 ClickHouse Sink。然而，有时候在配置 ClickHouse Sink 时，使用 Class.forName 方法加载 ClickHouse 驱动程序可能会导致任务卡死，本文将探讨这个问题的原因并提供解决方案。

问题描述：
在配置 Flink 的 ClickHouse Sink 时，我们使用 Class.forName 加载 ClickHouse 驱动程序，类似于以下代码：

Class.forName("ru.yandex.clickhouse.ClickHouseDriver")
了解本专栏 订阅专栏 解锁全文
【clickhouse】flink clickhouse sink Class.forName 卡死
九师兄
03-07 682
1.概述 一个flink项目要用到flink-clickhouse-sink,然后在git上找到的 git地址：https://github.com/ivi-ru/flink-clickhouse-sink.git https://github.com/ivi-ru/flink-clickhouse-sink/blob/master/src/main/java/ru/ivi/opensource/flinkclickhousesink/ClickHouseSink.java 然后因为需要在Clickhou
Flink向ClickHouse写入时出现AccessDeniedException错误，解决方法
2301_79366435的博客
08-16 271
检查ClickHouse连接配置，确保主机名、端口号、数据库名称、表名称以及用户名和密码（如果有）正确设置。检查ClickHouse用户权限，确保用户名和密码有效，并且该用户具有写入数据的权限。检查网络连接和防火墙设置，确保Flink作业能够正常连接到ClickHouse服务器。希望本文所提供的解决方法对您解决Flink写入ClickHouse时的AccessDeniedException错误有所帮助。祝您的大数据处理工作顺利进行！
flink读取kafka数据写入clickhouse很慢
yoohhwz的博客
06-15 2523
flink的业务逻辑代码导致的flink反压，进而导致kafka数据挤压
ClickHouse访问
lidepan的博客
08-17 1513
ClickHouse的访问方式
[Flink开发总结]反射在flink中的使用.
LangLang1111111的博客
12-01 1542
flink代码中使用反射的目的: 1.获取pojo的所有属性字段,用于拼接sql语句. 反射常用三种方式: 获取class对象的三种方法: 1.class.forName(...) 2.类名.class 3.对象.getClass 代码案例: Field[] fields = tClass.getDeclaredFields(); //拼接属性名 String cs = ""; String wh = ""; fo
【Flink】使用JDBC connector写入ClickHouse
九师兄
01-29 1981
1.概述 转载并且添加 使用JDBC connector写入ClickHouse 2.背景信息 Flink 1.10.1 + flink-jdbc Flink 1.11.0 + flink-connector-jdbc 本节主要介绍如何利用 ClickHouse JDBC connector，使用不同版本的 Flink 写入数据到 ClickHouse 中。 2.1 背景信息 Flink 在 1.11.0 版本对其 JDBC connector 进行了一次较大的重构： 重构之前（1.10.1 及之前版本.
flink实战 -- 数据写入clickhouse(ClickHouseSink)
热门推荐
Vision
12-29 1万+
简介 本文主要介绍如何通过Flink JDBC Connector将数据写入ClickHouse以及直接使用Flink JDBC Connector操作ClickHouse存在什么样的问题。 Flink JDBC Connector的使用 通过JDBCUpsertTableSink.Builder创建一个JDBCUpsertTableSink对象，JDBCUpsertTableSink需要的参数...
flink1.12 自定义sql sink写入 clickhouse0.3
fjl121029xx的博客
05-07 1362
写入clickhouse额外需要的依赖（还需要一些flink本身的依赖包） <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.7</version> </dependency> <dependency> <group
【clickhouse】flink phoenix sink Class.forName 卡死
九师兄
02-01 552
【clickhouse】flink clickhouse sink Class.forName 卡死一个类似的问题。这个问题是phoenix卡死。代码如下//构造方法 public TableProcessFunction(OutputTag < JSONObject > objectOutputTag , MapStateDescriptor < String , TableProcess > mapStateDescriptor) {
【Flink源码篇】Flink提交流程之有效配置和程序的封装
Bulut0907
09-19 819
然后进行所有classpath的URL、application的jar包和里面的依赖jar包的URL的加载，返回一个ClassLoader。ProgramOptions这个类，主要是在构造函数中，通过从CommandLine获取不同参数的值，经过一定的转换，给ProgramOptions的各个类变量进行赋值操作。大致的过程如上所示，具体的转换过程这里就不讲解了。主要进行application的ClassLoader加载，Context的设置，和最终的application程序的执行。
clickhouse 中JDBC代码
weixin_42842042的博客
10-21 613
package jdbc; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import ru.yandex.clickhouse.ClickHouseDriver; /** * @author stjzstart * @create 2020-10-21 21:43 */ public class CHJ.
Flink源码阅读:如何使用FlinkKafkaProducer将数据在Kafka的多个partition中均匀分布
Matrix42
12-15 7605
使Flink输出的数据在多个partition中均匀分布FlinkKafkaProducerBase的子类可以使用默认的KafkaPartitioner FixedPartitioner(只向partition 0中写数据)也可以使用自己定义的Partitioner(继承KafkaPartitioner),我觉得实现比较复杂.构造FlinkKafkaProducerBase的子类的2种情况 p
ClickHouse之入门学习-单节点安装 / 集群的建立 / 基本命令操作-日志系列引擎(2 )
桂林算啦粉的博客
08-24 609
ClickHouse之入门学习(2 安装/基本命令操作-日志系列引擎) 一 单节点安装 1 安装curl工具 yum install -y curl 2 添加clickhouse的yum镜像 curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash 3 检查镜像情况 [root@doit04 yum.repos.d]# yum list | grep clic
Flink任务提交卡死问题解决方案：内存预留不足导致大数据处理中的内存问题
最新发布
pytorchCode的博客
08-28 779
为了解决这个问题，我们需要增加作业管理器和任务管理器的内存限制，并为任务分配足够的内存资源。本文提供了一个简单的Flink任务示例和相应的配置文件，帮助您解决内存预留不足的问题。为了解决内存预留不足的问题，我们需要调整Flink作业管理器的相关配置。具体而言，我们需要增加作业管理器的内存限制，并为任务分配足够的内存资源。当提交Flink任务时，任务可能会长时间处于"创建中"的状态，无法进入正常的执行状态。接下来，我们将提供一个简单的Flink任务示例，以演示如何使用上述配置解决内存预留不足问题。
【flink】Flink 中的木桶效应：单个 subtask 卡死导致整个任务卡死
九师兄
01-02 1577
1.概述 转载：Flink 中的木桶效应：单个 subtask 卡死导致整个任务卡死 工作或者面试中一般都要求面试者有较强的独立解决问题的能力，解决问题的前提是：我们对相应组件的原理非常清楚。本文先讲述原理，再结合实战分析一个线上任务的异常案例。 本文分以下几个部分： 第一部分直接给出结论 第二部分会分析原理：Flink 中单个 subtask 卡死，为什么会导致整个任务卡死？ 第三部分：线上业务如果出现类似问题如何定位？换言之，线上出现哪些现象可以说明是单个 subtask 导致整个任务卡住了。会通过案.
Flink任务提交问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
02-24 2112
全网最全大数据面试提升手册！flink 任务提交问题汇总1. 提交flink自带任务WordCount.jar遇到的问题：2. 提交flink 批处理任务时遇到的问题3. flink定时任务，mysql连接超时问题4. flink checkpoint 恢复失败5. yarn 增加并行任务数量配置6. 流处理flink程序在hadoop集群跑了一段时间莫名挂掉1. 提交flink自带任务WordC...
FlinkSQL sink clickhouse 报错
东城庞太师
10-09 710
如下图：如果用FlinkSQL创建clickhouse的表，会报错！ 原因：Flink目前还不支持clickhouse，源码中写死了。只支持Derby，Mysql，Postgres方言。 解决：如果一定要集成，有两个办法： （1）修改Flink源代码，重新打包，添加修改后的jar包。 （2）使用反射修改DIALECTS静态final属性 。 如果不集成，就先把数据由table转成datastream，再用addsink方法，落地到clickhouse中。 ...
Flink写入ClickHouse时出现访问被拒绝的异常错误
code_welike的博客
08-28 344
希望本文对你有所帮助！可以在Flink的配置文件中找到这些配置项，并确保它们与ClickHouse的实际配置相匹配。其中’clickhouse_host’是ClickHouse的主机名，'clickhouse_port’是ClickHouse的端口号。确保将上述命令中的’database.table’替换为实际的数据库和表名称，并将’flink_user’替换为Flink使用的ClickHouse用户名。确保Flink和ClickHouse之间的网络连接是可用的，并且没有被防火墙阻止。
Flink的sink实战之四：自定义
程序员欣宸的博客
04-18 6645
Flink官方提供的sink服务可能满足不了我们的需要，此时可以开发自定义的sink，文本就来一起实战；
Flink ClickHouse 代码
04-29
以下是使用Flink将数据写入ClickHouse的Java代码示例： ```java import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.clickhouse.ClickHouseSink; import org.apache.flink.streaming.connectors.clickhouse.ClickHouseSinkFunction; import org.apache.flink.streaming.connectors.clickhouse.common.ClickHouseRowConverter; import org.apache.flink.streaming.connectors.clickhouse.common.container.ClickHouseClientProvider; import org.apache.flink.streaming.connectors.clickhouse.common.container.JDBCDriverContainer; import org.apache.flink.streaming.connectors.clickhouse.common.enums.InsertMode; import java.sql.PreparedStatement; import java.sql.SQLException; import java.util.Properties; public class FlinkClickHouseExample { public static void main(String[] args) throws Exception { // set up the execution environment final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // configure the properties for the ClickHouse sink Properties properties = new Properties(); properties.setProperty(ClickHouseSinkOptions.TARGET_TABLE_NAME, "test"); properties.setProperty(ClickHouseSinkOptions.INSERT_MODE, InsertMode.REPLACE.name()); properties.setProperty(ClickHouseSinkOptions.USERNAME, "user"); properties.setProperty(ClickHouseSinkOptions.PASSWORD, "password"); properties.setProperty(ClickHouseSinkOptions.DATABASE_NAME, "test"); properties.setProperty(ClickHouseSinkOptions.TARGET_TABLE_SCHEMA, "id Int32, name String"); // create a ClickHouseSink with the properties and a row converter ClickHouseRowConverter rowConverter = new ClickHouseRowConverter.SimpleClickHouseRowConverter(); ClickHouseSinkFunction clickHouseSinkFunction = new ClickHouseSink(properties, rowConverter, new JDBCDriverContainer(), new ClickHouseClientProvider()); // create a data stream from a source, map it to a ClickHouse row, and add the ClickHouse sink DataStream<String> source = env.socketTextStream("localhost", 9000); DataStream<ClickHouseRow> clickHouseRows = source.map(new MapFunction<String, ClickHouseRow>() { @Override public ClickHouseRow map(String value) throws Exception { String[] fields = value.split(","); return new ClickHouseRow(fields[0], fields[1]); } }); clickHouseRows.addSink(clickHouseSinkFunction); // execute the Flink job env.execute("Flink ClickHouse Example"); } public static class ClickHouseRow { private int id; private String name; public ClickHouseRow(String id, String name) { this.id = Integer.parseInt(id); this.name = name; } public int getId() { return id; } public String getName() { return name; } } } ``` 在此代码中，我们首先配置了ClickHouse sink的属性，并创建了一个ClickHouseSinkFunction。接下来，我们从数据源创建了一个数据流，并将其映射为一个ClickHouse行。最后，我们将ClickHouse行添加到ClickHouse sink并执行Flink作业。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值