weixin_54625990的博客

点击蓝字 关注我们通知！开源之夏 2023 学生报名已经正式开启！Apache SeaTunnel(Incubating)今年继续参与开源之夏的活动，2023 年 4 月 29 日-6 月 3 日 15:00 UTC+8，同学们可以在开源之夏官网 https://summer-ospp.ac.cn/找到 SeaTunnel 下的项目，挑选自己感兴趣的课题，通过项目相对应导师联系方式与导师沟通并准...

点击蓝字 关注我们部署环境（MacOS/Linux）1.安装JDK环境目前SeaTunnel支持运行在JDK8及以上的环境。用户需要自行安装JDK环境。2.下载安装包目前SeaTunnel的最新版本是2.3.1版本。这里我们安装部署2.3.1版本，如果你需要下载其它版本，可以从https://seatunnel.apache.org/download中查询对应的版本。mkdir ~/seatunn...

Apache SeaTunnel(incubating) 正式推出 2.3.0 正式版本，并正式发布自己的核心同步引擎 Zeta！此外，SeaTunnel 2.3.0 还带来了许多大家期待已久的新特性，包括支持 CDC、以及近百种 Connector 等。

近日，白鲸开源在 Apache SeaTunnel 周会中宣布把 Web 界面贡献到社区，并制作了短视频简单介绍此次贡献将提供的功能，视频如下????：接下来我带大家了解一下有那些功能。首先演示一下：同步任务定义，可以在这里对需要的任务进行创建于管理。通过画布可以非常直观地观测到当前任务的状态，同时可以检查和修改参数配置，也可快速地查看表结构。同步任务实例，可以看到离线或实时的状态情况。更多关于 Sea...

点击蓝字 关注我们4月22日-4月28日问Metaspace执行完一次会慢慢累积，执行完了，没有释放，是怎么回事？ 等full gc的时候清理。 答问SeaTunnel 2.3.1执行时，有时会出现流式任务，但明明指定了是 "job.mode" : "BATCH" 模式，是怎么回事？ JDBC后面加参数rewriteBatchedStatements=true。答问Schema ...

点击蓝字 关注我们简介SeaTunnel 是 Apache 软件基金会下的一个开源大数据集成工具，为数据集成场景提供灵活易用、易扩展并支持千亿级数据集成的解决方案。SeaTunnel 可以选择 SeaTunnel Zeta [1] 引擎上运行，也可以选择在 Apache Flink 或 Spark 引擎上运行。Seaunnel 为实时(CDC)和批量数据提供高性能数据同步能力。本指南将引导您快速入...

2023 年 3 月 30 日，SeaTunnel 即将和 StarRocks 社区开展联合线上活动，分享有趣的大数据生态融合想法，免费预约吧！

。 我叫范佳，目前是 SeaTunnel 社区的 PMC 成员。主要负责 Connector V2 连接器的设计和开发，以及我们的 Zeta 引擎的一些设计和开发。很高兴能够在这里与大家分享我们的 Apache SeaTunnel。文｜范佳编辑整理｜廖心悦 曾辉讲师介绍范佳Apache SeaTunnel PPMC我今天分享的内容分为5个部分介绍SeaTunnel如何使用SeaTunnelSe...

数据集成是将这些独立的数据整合到一起，以产生更高的数据价值和更丰富的数据洞见的过程。针对以上N种情况，我们联合 PowerData 社区推出的这个主题活动：数据集成—从入门到实践，如果你也是接触开源“数据集成平台”的小白用户，也碰到了某些原因“卡壳”了，那这次的分享你一定不要错过了，我们还特地邀请了社区 PPMC 田超和白鲸开源高级工程师李宗文，通过他们的分享让用户能更快更好更便捷的使用Apahce SeaTunnel。我相信社区花费精力筹备的活动，你一定能听到一手的分享，得到一手的收获！

毕博，马蜂窝数据平台负责人，Apache SeaTunnel 贡献者分享大纲：● Seatunnel StarRocks 连接器简介● StarRocks Connector 功能特性● StarRocks Connector 数据读取解析● StarRocks Connector 数据写入解析● StarRocks Connector 的使用示例● StarRocks Connector的后续规划首先介绍一下数据同步平台 Apache SeaTunnel 的基本架构。

点击蓝字，关注我们????在上一篇文章中，我们介绍了如何下载安装部署SeaTunnel Zeta服务（3分钟部署SeaTunnel Zeta单节点Standalone模式环境），接下来我们介绍一下SeaTunnel支持的第一个同步场景：离线批量同步。顾名思意，离线批量同步需要用户定义好SeaTunnel JobConfig，选择批处理模式，作业启动后开始同步数据，当数据同步完成后作业完成退出。下面以My...

2023年4月15日，一场别开生面的大数据盛会在成都春日阳光下圆满落幕。由ApacheDolphinScheduler和Apache SeaTunnel社区联合主办，批流一体与大数据最佳实践技术主题活动在成都成功举办。此次活动吸引了50+大数据领域的技术爱好者、行业精英和专家齐聚一堂，共同探讨大数据调度、数据集成等前沿技术和最佳实践。活动开始，白鲸开源高级社区经理曾辉进行了活动开场，对来到现场参...

点击蓝字 关注我们摘要为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。关于本栏目的要点：本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：关于 ...

点击蓝字 关注我们摘要为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。关于本栏目的要点：本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：关于 ...

点击蓝字 关注我们 //在4月中旬的SeaTunnel&TDengine联合Meetup上，来自 北京沃东天骏信息技ason术有限公司的架构师李宏宇，为大家带来了《使用SeaTunnel搞定TDengine数据同步》，通过TDengine-Connector解析与使用示例介绍了SeaTunnel与实时数据库TDengine同步集成的过程。演讲内容整理如下：大...

点击蓝字 关注我们4月15日-4月21日问Checkpoint目前能做到冷启动吗？重启的时候指定Checkpoint，类似Flink从Checkpoint恢复。可以，启动的时候加-r参数，可以从最后一次checkpoint启动。答问有关于Flink引擎和SeaTunnel 2.3.1 Zeta引擎的对比文档吗？ 公众号搜索zeta，可参考相关文章。 答问不支持多个Source的话，怎么...

点击蓝字 关注我们摘要为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。关于本栏目的要点：本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：关于 ...

SeaTunnel 整合到天翼云数据平台在架构层面的设计与思考。

点击蓝字 关注我们Apache SeaTunnel 线上系列技术直播活动下周精彩继续！这次，社区与 TDengine 展开联合活动，分享两者集成应用的最佳实践。目前，Apache SeaTunnel Connector“方阵”已支持 TDengine Connector，将广泛涉猎物联网、工业互联网、金融、IT 运维监控等场景的数据库 TDengine 列入支持队列，无疑将进一步扩大 Apache...

举个例子，我们前面讲了可以利用 CDC 将 MySQL 的数据同步到 Elasticsearch 中以供搜索，在这样的架构里，所有的查询都用 ES 来查，但在想修改数据时，并不直接修改 ES 里的数据，而是修改上游的 MySQL 数据，使之产生数据更新事件，事件被消费者消费来更新 ES 中的数据，这就基本上是一种 CQRS 模式。另外包括社区的展望和目前在做的一些事情。这个情况下，小数量的表手写还可以应付，如果数量大可能就出现类型映射错误的问题，或者参数配置错误的问题，就会产生很高的运维成本（配置麻烦）。

近些时间，我们正好接手一个数据集成项目，数据上游方是给我们投递到Kafka，我们一开始的技术选型是SpringBoot+Flink对上游数据进行加工处理（下文简称：方案一），由于测试不到位，后来到线上，发现数据写入效率完全不符合预期。后来将目光转到开源项目SeaTunnel上面，发现Source支持Kafka，于是开始研究测试，开发环境测试了500w+数据，发现效率在10000/s左右。果断放弃方案一，采取SeaTunnel对数据进行集成加工（下文简称：方案二）。

大家好，我叫蒋晓峰，哔哩哔哩资深开发工程师，也是Apache Paimon PPMC，今天我要给大家分享的主题是 Apache SeaTunnel 架构的剖析与 Apache Paimon 集成。文｜蒋晓峰编辑整理｜曾辉讲师介绍蒋晓峰哔哩哔哩资深开发工程师01Apache SeaTunnel 设计目标在大数据行业快速发展的今天，各类数据库和数据仓库等技术不断产生和发展。对于企业来说，如何同步异...

目前，WhaleStudio 支持公有云、私有云和混合云，已与 AWS、阿里云、华为云等国内外头部云厂商达成合作，全面支持云原生，帮助企业更好地适应大数据和云原生大时代下的数据处理与治理，同时支持传统数据仓库 Teradata，Greenplum，Oracle Datawarehouse Edition，DB2 Enterpirse Edition，支持开源的数据湖 Hudi，Iceberg 等，让企业用户实现数据湖、数据仓库、云的一体化调度。

点击蓝字 关注我们摘要为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。关于本栏目的要点：本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：关于 ...

关于CommunityOverCodeAsiaCommunityOverCode Asia （原ApacheCon Asia）是 Apache 软件基金会（ASF）的官方全球系列大会，作为久负盛名的开源盛宴，是开源界最具期待的大会之一。今年8月，CommunityOverCode Asia 2023 强势来袭，针对亚太地区的开发者特举行 CommunityOverCode Asia 线下会议。...

郭炜，Apache 基金会成员，Apache DolphinScheduler PMC Member，Apache SeaTunnel Mentor。代立冬，白鲸开源联合创始人，Apache DolphinScheduler PMC Chair & Apache SeaTunnel PMC Member& Mentor，Apache 孵化器导师，Apache Local Community Beijing 成员。本文由。

Catalog（目录）提供了关于数据库、表格和访问数据所需的信息的元数据，以及统一的 API 来管理元数据，验证连接，让元数据对 Sources（数据源）、Sinks（数据汇）和 Web 可访问。Catalog 让用户能够引用其数据系统中的现有元数据，并自动映射到 SeaTunnel 的对应元数据。总之，Catalog 大大简化了使用用户现有系统开始使用 SeaTunnel 的步骤，并显著增强了用户体验。

点击蓝字 关注我们同学们，开源之夏活动学生报名入口到 2023 年 6 月3 日 15：00 就要关闭了哟，还没报上名的同学赶快审题！Apache SeaTunnel 也在开源之夏众多开源项目之列，对 Apache SeaTunnel 和数据集成领域感兴趣的同学还能上车。目前两个议题均有人申请，但是为了获得最好的方案，我们鼓励更多人来申请报名参加，狭路相逢“优”者胜，最好的解决方案将会中选哦！扫...

这是首个由国人主导并贡献到 ASF 的大数据集成领域的顶级项目，这一里程碑的达成标志着 SeaTunnel 在开源软件开发领域的突破，并为其在技术、社区合作和开放创新方面的卓越表现获得了广泛认可。

点击蓝字 关注我们在刚刚发布的 Apache DolphinScheduler 3.1.7 版本中，已经添加了数据集成工具 SeaTunnel 任务组件。与 SeaTunnel 的集成，将进一步方便用户进行数据集成方面的开发。本视频将介绍如何使用这个新增加的组件及其功能。大家好，今天我们来演示一下 DolphinScheduler 在 3.1.7 版本中添加的Feature。接下来我来演示一下如何...

郭炜，Apache 基金会成员；高俊，Apache SeaTunnel PMC Chair。

近日，Apache SeaTunnel 正式发布 2.3.2 版本。此时距离上一版本 2.3.1 发布已有两个多月，期间我们收集并根据用户和开发者的反馈，在 2.3.2 版本中对 SeaTunnel Zeta Engine 进行了 Bug 修复，提高了引擎的稳定性和使用效率。此外，新版本还对 Connector-V2 中的连接器进行了功能和性能优化，同时 SQL Transfrom 支持了自定义 UDF 函数，Zeta Engine 也提供了通过 Rest API 的方式进行集群的监控和查询操作。

点击蓝字 关注我们⭐️随着两期 SeaTunnel Connector 接入激励计划的完成，我们已经完成了 180+ Connector 的接入，极大地丰富了 SeaTunnel 数据支持类型，让 SeaTunnel 数据同步的功能更加强大！为了让更多人了解如何使用 SeaTunnel Connector，社区特发起使用文档和使用案例征稿活动！通过两期 SeaTunnel Connector 接入...

点击蓝字 关注我们作者 | 高俊Catalog（目录）提供了关于数据库、表格和访问数据所需的信息的元数据，以及统一的 API 来管理元数据，验证连接，让元数据对 Sources（数据源）、Sinks（数据汇）和 Web 可访问。Catalog 让用户能够引用其数据系统中的现有元数据，并自动映射到 SeaTunnel 的对应元数据。总之，Catalog 大大简化了用户现有系统启用 SeaTunnel...

点击蓝字 关注我们摘要为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。关于本栏目的要点：本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：关于 ...

我是韩山峰，来自金红叶纸业集团。今天，我将向大家介绍 Apache SeaTunnel 在我们金红叶纸业集团中的应用场景，包括我们为何选择 Apache SeaTunnel ,以及我们如何基于其提升我们内部的数据开发效率。文｜韩山峰编辑整理｜曾辉讲师介绍韩山峰金红叶纸业 数据分析师01产品选择历程在我刚加入金红叶的时候，所有数据都在 Oracle 数据库中。在那时，我们用的是 Oracl...

点击蓝字 关注我们作者 |caoyongfei部署1下载解压https://dlcdn.apache.org/incubator/SeaTunnel/2.3.1/apache-SeaTunnel-incubating-2.3.1-bin.tar.gz下载完毕之后上传到服务器上面并解压# 解压到了/opt/module目录下tar -zxvf apache-SeaTunnel-incubatin...

2023年6月03日，阳光明媚的下午，一场名为「走进OPPO：探索数据调度与集成的企业实践」的技术沙龙在深圳华润前海大厦 OPPO 办公室圆满落幕。上百位数据工程师、技术爱好者、企业用户在这里共聚一堂，一同研讨大数据的趋势和实践。深圳站超清晰全程回放+PPT已经火热出炉~获取方式：关注ST公众号回复关键词“0603深圳PPT”1???? 签到环节 SIGN IN????深圳的开发者果然效率高，不到1点...

随着两期 SeaTunnel Connector 接入激励计划的完成，我们已经完成了 180+ Connector 的接入，极大地丰富了 SeaTunnel 数据支持类型，让 SeaTunnel 数据同步的功能更加强大！为了让更多人了解如何使用 SeaTunnel Connector，社区特发起使用文档和使用案例征稿活动！

Apache SeaTunnel是一个开源的、高性能的、分布式的数据管理和计算平台。它是由Apache基金会支持的一个顶级项目，能够处理海量数据、提供实时的数据查询和计算，并支持多种数据源和格式。SeaTunnel的目标是提供一个可扩展的、面向企业的数据管理和集成平台，以满足各种大规模数据处理需求。Milvus是一个开源的类似向量搜索引擎，它支持海量向量的存储、检索和相似度搜索，是一个针对大规模向量数据的高性能、低成本的解决方案。