关于flink 1.17.2编译时遇到io.confluent的问题

最新推荐文章于 2024-04-04 00:07:07 发布

原创最新推荐文章于 2024-04-04 00:07:07 发布 · 612 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#flink #linq #大数据

本文介绍了在处理Flink-Kafka-Avro模块时遇到的错误，提出解决方案是在Maven配置文件中添加Confluent仓库地址，将其置于阿里云镜像仓库之后，以解决io.confluent相关问题。

遇到flink-kafka-avro模块总是报错，遇到io.confluent的问题，请在maven的配置文件中添加下面仓库，可以放在阿里云镜像mirror仓库的后面，具体添加如下：

<mirror>
<id>confluent</id>
<mirrorOf>confluent</mirrorOf>
<name>confluent</name>
<url>https://packages.confluent.io/maven/</url>

</mirror>

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

江文笔记

关注关注

8
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Flink1.14 源码报错Could not transfer artifact io.confluent:kafka-schema-registry-client from/to maven地址

打工日常

11-29

2146

Flink1.14 源码报错Could not transfer artifact io.confluent:kafka-schema-registry-client from/to maven地址解决办法： 1.删除maven本地仓库中的以 lastUpdated 结尾的文件 2.然后将maven的配置文件中的仓库镜像改为阿里云或者其他国内进行地址，重新import一下 ...

flink 1.9 编译：flink.shaded.netty4.io.netty 找不到

九师兄

09-24

2490

如图

参与评论您还未登录，请先登录后发表或查看评论

kafka Confluent Schema Registry 简单实践

qq_40788398的博客

05-17

2739

解释及目的：使用传统的Avro API自定义序列化类和反序列化类或者使用Twitter的Bijection类库实现Avro的序列化与反序列化，这两种方法都有一个缺点：在每条Kafka记录里都嵌入了schema，这会让记录的大小成倍地增加。为了让数据共用一个schema，使用通用的结构模式并使用"schema注册表"来达到目的。 Confluent Schema Registry 在处理数据之前，会先读取注册的schema对数据进行解析，避免每条kafka数据都嵌入schema，从而达到数据优化的

无法下载io.confluent:kafka相关jar

qq_42773076的博客

04-12

1431

在所属的工程的pom文件加入Confluent Maven 存储库。或者maven的配置中加入Confluent Maven 仓库库。

Flink实践代码-Flink1.17.2 安装配置

danevc的博客

03-29

1279

Flink 环境配置

confluent介绍

every place is the center of the universe

01-08

777

KSQL是一个用于Apache kafka的流式SQL引擎,KSQL在内部使用Kafka的Streams API，并且它们共享与Kafka流处理相同的核心抽象，KSQL有两个核心抽象，对应于到Kafka Streams中的两个核心抽象，可以处理kafka的topic数据。 KSQLDB 通过将ksqlDB简化为仅两件事，有助于简化如何编写和部署流数据管道：存储（Kafka）和计算（ksqlDB）。可以使用一致，强大的SQL语言将所有流转换，合并和聚合在一起，管理数据管道的端到端流。 ...

Flink执行jar报错：java.io.IOException: Error opening the Input Split file 或者 java.io.FileNotFoundExceptio

weixin_43520450的博客

05-10

1708

Flink执行jar报错：java.io.IOException: Error opening the Input Split file 或者 java.io.FileNotFoundExceptio

【FLink】flink io.tmp.dirs 配置参数有什么作用

九师兄

07-01

1274

请务必关闭此功能，否则会在job recovery时，由于/tmp文件夹被清理，导致丢失metadata，并最终job 失败。与磁盘相关的配置项有 io.tmp.dirs，我们可以指定一个或多个文件夹（以冒号为分隔符），用于存储数据到本地文件系统。tmpdir的财产)。的参数指定了blob server的本地存储文件夹，用于exchange较大的文件（例如application JAR 文件）。默认情况下，放在这些目录中的数据包括由RocksDB创建的文件、溢出的中间结果(批处理算法)和缓存的jar文件。

数据库实时转移之Confluent环境搭建（二）

pizzalife的博客

03-17

1878

数据库实时转移之Confluent环境搭建（二）1.前言2.系统架构3.Confluent 安装3.1 安装JDK1.83.2 Confluent 安装3.3 安装mysql-connector-jdbc.jar4.服务配置4.1 Zookeeper 配置4.2 Kafka 配置4.3 Schema Registry 配置4.4 Kafka-Connect4.4.1 Connect 配置4.4.2...

flink1.17源码编译及Idea下的flink环境

weixin_42002985的博客

07-02

1299

flink1.17源码编译及Idea下的flink环境

MAVEN简单介绍和使用

define_us的专栏

10-07

1017

依赖：&amp;amp;amp;amp;amp;lt;dependencies&amp;amp;amp;amp;amp;gt; &amp;amp;amp;amp;amp;lt;dependency&amp;amp;amp;amp;amp;gt; &amp;amp;amp;amp;amp;lt;groupId&amp;amp;amp;amp;amp;gt;log4j&amp;am

Spring(一：IOC引入)

weixin_43374578的博客

06-01

224

一、JDBC传统的问题及解决 1.pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/

基于 confluent 的 kafka-connect-jdbc 数据同步方法！

polarrwl的专栏

09-21

3399

基于 confluent 的 kafka-connect-jdbc 数据同步方法

国内比较能用的maven仓库

wangjunji34478的专栏

04-29

842

https://maven-central-asia.storage-download.googleapis.com/maven2/ Index of mavenhttps://packages.confluent.io/maven/

【Flink】第一节源码编译

Chain的博客

08-19

1696

认识以及改造flink的第一步从下载编译源码开始。

maven下载依赖失败

热门推荐

随便写写

10-21

2万+

前情提要由于特殊原因，官方maven库经常连接失败，所以很多maven都配置了阿里云的镜像。但是阿里云的镜像里有很多依赖都没有，这时候如果你的项目需要这些依赖，就会导致编译失败。 1. 问题1 描述： This failure was cached in the local repository and resolution is not reattempted until the update interval of aliyunmaven has elapsed or updates are forc

flink1.18源码本地调试环境

ycjunhua的专栏

04-04

1729

01 源码本地调试环境搭建01 源码本地调试环境搭建1.从github拉取源码创建本地项⽬可以拉取github上官⽅代码2.配置编译环境ctrl+alt+shift+s （或菜单）打开项⽬结构，确保jdk版本为1.8，scala版本最好为2.12.73.源码编译跳过调试。

maven下载jar包遇到的坑

要成为架构师的男人

09-06

3370

今天，编译griffin源码，死活不成功，报Java类找不到。第一猜想，有jar包下载失败。神奇的是，通过idea的maven管理工具发现，并没有报jar下载失败：感觉这有点很莫名其妙。进到maven本地仓库，发现kafka-schema-registry-client好好的在仓库里：不信邪的我，准备把jar文件解压，找找对应的类文件是否存在。可是，奇怪的事又出现了： ...

Flink 1.9编译

lvwenyuan_1的博客

08-29

3129

Flink1.9出来了，这两天编译了一下，这里把坑记录一下。下载的是release-1.9.0-rc3版本。下载完之后，使用IDEA打开，方便之后阅读代码，同时也可以加载一些依赖。之后开始编译准备 maven命令：mvn clean install -DskipTests -Dfast 建议对应的setting： <mirror> ...