ETL 数据交换 engine 引擎 时序数据库交换 消息中间件数据分发

最新推荐文章于 2025-05-14 00:08:43 发布
最新推荐文章于 2025-05-14 00:08:43 发布
阅读量312 收藏
点赞数
分类专栏： 物联网 大数据 ETL 文章标签： etl 时序数据库 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iteye_1574/article/details/128524905
版权

版本迭代

感谢大家对 etl-engine 的持续关注，希望有更多的场景去应用它，跨年第一天迭代更新了一次版本，让 ETL engine 不仅仅是个数据层面的工具，还让它成为你项目中的开发工具。

支持数据源类型

  • 时序数据库
    prometheus influxdb clickhouse
  • 关系型数据库
    mysql postgresql oracle sqlite
  • 文件
    excel csv

在这里插入图片描述

RabbitMQ 还是 Kafka？哪个才是架构利器
wenyusuran的专栏
08-10 1110
作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka？”。基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择RabbitMQ还是Kafka没什么差别，但是这两种技术在底层实现方面是有许多差异的。 不同的场景需要不同的解决方案，选错一个方案能够严重的影响你对软件的设计，开发和维护的能力。 这篇文章会先介绍RabbitMQ和Apache Kafka内部实现的相关概念。紧接着会主要介绍这两种技术的主要不同点以及他们各自的优缺..
CDC 增量同步框架与关系 /neo4j 增量同步设计
leehom的博客
10-01 1500
数据增量同步是 ETL 关键功能，在全量同步后，持续增量同步，保证数据的完整，正确和时效，通常有两种方式实现，双写和 CDC双写 优点，实现简单， 写入源库同时写入目标库；缺点，代码侵入，影响正常业务CDC 优点，无侵入，读取数据库 log，获取数据变更；缺点，复杂，需要引入 CDC 组件，从数据变更(表/行/字段变更)到目标增量变更(通常是 DTO)需要复杂的映射Cdc 组件本身通用设计，支持扩展 redis，elasticsearch 等数据库同步本文包括两部分，cdc 组件设计和。
体系结构方案 -ETL 中间件
Raqsoft
03-05 1268
【摘要】 ETL 常常做成 ELT 甚至 LET！ 这样做带来的恶果是：1）数据库臃肿、负担重，数据管理混乱；2）性能低下，时间成本高（ 数据库写入很慢），影响 ETL 窗口时间。 解决方案: 引入库外计算引擎 - 集算器，直接计算多样数据源，不依赖于数据库，真正做成 ETL。集算器是一种擅长处理复杂的 ETL 过程的中间件，不用再硬编码，省时省力省人工！ 去乾学院看个究竟吧！ 体系结构方案 -E...
国产ETL etl-engine 流批一体数据交换引擎 轻量级 跨平台 支持动态解析GO语言脚本
威哥
12-06 2249
国产ETL etl-engine 流批一体数据交换引擎 轻量级 跨平台 易集成 适应 物联网 大数据 高可用 场景
ETL 引擎：高效数据转换的新选择
gitblog_00068的博客
04-22 604
ETL 引擎：高效数据转换的新选择 去发现同类优质开源项目:https://gitcode.com/ 在大数据时代，ETL（Extract, Transform, Load）是数据处理的核心环节。今天我要向大家推荐一个开源项目——etl-engine，它是一个强大的、可扩展的数据处理框架，致力于简化和加速ETL流程。 项目简介 etl-engine 是一个基于Java开发的轻量级ETL工具，它的目...
etl engine 流批一体数据交换引擎
weixin_41003908的博客
07-25 258
流批一体数据交换引擎产品概述我们不仅仅是数据的搬运工，还是数据搬运过程中加工处理的工厂。我们不仅仅适用关系型数据库中，还适配当下流行的时序数据库、消息中间件、Hadoop生态中，支持多种类型数据库之间的融合查询及流式计算。etl-engine的核心思想是为用户快速搭建ETL产品提供解决方案，让用户低代码乃至零代码将ETL产...
国产ETL工具 etl-engine
威哥
12-07 648
国产 ETL 工具，etl-engine 支持动态解析go语言脚本，实现动态编程，发挥你的想象力并落地到etl-engine中。支持数据源mysql、oracle、postgresql、sqlite、influxdb、clickhouse、prometheus、redis、excel、csv、kafka、rocketmq。
[离线数仓] 总结一、数据采集
weixin_44428807的博客
12-29 917
服务名称子服务服务器hadoop111服务器hadoop112服务器hadoop113HDFSNameNode√DataNode√√SecondaryNameNode√YarnResourcemanager√NodeManager√√ZookeeperZookeeper Server√√√Flume（采集日志）Flume√KafkaKafka√√√Flume（Kafka日志）Flume√Flume（Kafka业务）Flume√Hive√MySQLMySQL√DataX√Spark√√√DolphinSche
大数据之路 读书笔记 Day7 实时技术 简介及流式技术架构
frank-liang的博客
07-18 938
大数据之路 读书笔记 Day7 实时技术 简介及流式技术架构 关键词：架构、storm、去重指标、数据倾斜
数据库故障排查指南-数据库缓存池（Buffer Pool）溢出
最新发布
百态老人的博客
05-14 612
MySQL：支持动态调整Buffer Pool大小，推荐使用SET GLOBAL命令或配置文件设置。SQL Server：通过系统存储过程和动态管理对象实现缓存调整。Oracle：通过动态性能视图和命令调整Buffer Cache大小。分库分表是解决大数据量场景下数据库性能瓶颈的有效手段。通过合理设计分库分表策略，并结合Buffer Pool优化技术，可以显著提升系统的处理能力和稳定性。然而，在实施过程中需要注意跨库事务管理的复杂性以及数据倾斜等问题，以确保系统的高效运行。
国产 etl engine 监控面板 为管理者掌握平台运行情况，决策执行方案提供即时数据支撑
威哥
08-09 208
国产 etl engine 监控面板 为管理者掌握平台运行情况，决策执行方案提供即时数据支撑
流批一体数据交换引擎 etl-engine
威哥
04-08 205
流批一体数据交换引擎etl-engine
6种ETL计算引擎介绍
oOBubbleX的博客
07-01 1401
本文旨在介绍ETL计算引擎的定义、功能和特性，以及6种ETL计算引擎的优缺点。
国产ETL etl-engine 星光不问赶路人 时我不待
威哥
12-11 274
国产ETL工具 etl-engine 也许正是你技术选型之一 可视化 设计器
关于ETL引擎的一点补充
element1999的专栏
03-26 1142
   考虑到scailabilbity，原有ETL引擎由于Task任务直接负责了数据库的读写，导致抽取多个抽取结果无法聚合。也就导致了单个任务无法在多个ETL Server中并行运算，可扩展性较差。因此，有必要把任务的委派，结果集的合并工作独立开来，形成单独的模块。   首先，Task类不再直接操作数据库读写，而是把数据从一处抽取，发送到数据聚合处理模块，形成多个数据源的合并。Task类依然保
Sqoop安装配置 Flume安装配置 数据交换引擎： RDBMS ---- Sqoop---- HDFS（HBase、Hive）
爱喝酒的波斯猫
04-12 397
1、PigLatin语言分析数据 2、Pig自定义函数 准备实验的环境：准备Oracle数据库 1、实验：前面的实验：Oracle闪回（回收站） 2、自带用户：sh/sh ---> 表：sales订单表（大概92万条数据） 3、实验环境 （*）Oracle版本：10g企业版 （*）操作系统：Windows XP 4、安装虚拟机：选XP、关闭防火墙 数据采集的引擎：Sq...
tdengine与MySQL交换数据_浅谈时序数据库TDengine
weixin_39596668的博客
01-27 453
浅谈时序数据库TDengine最近TDengine很火，本人也一直很早就有关注，其官方给出的测试性能结果很喜人，所以一开源，本人就进行了相关调研，最终发现还是存在着一定的问题，期待后续的完善吧写入问题必须为每个Tag组合起一个表名付出的代价：用户必须要保证每个Tag组合起的表名唯一，并且一旦Tag组合数过多用户很难记住每个Tag组合对应的表名，在查询时基本都是靠超级表STable来查询。所以对用户...
流式数据交换引擎：构建物联网应用的ETL引擎
XadxShapes的博客
09-21 232
随着物联网的快速发展，大量的传感器和设备产生的数据需要进行高效处理和分析。为了满足这一需求，流式数据交换引擎（Streaming Data Exchange Engine）成为了物联网应用中的关键组件。本文将介绍如何使用一个流式数据交换引擎来构建物联网应用，并提供相应的源代码示例。
etl engine 监控面板 为管理者掌握平台运行情况，决策执行方案提供即时数据支撑
威哥
08-02 123
国产 etl engine 监控面板 为管理者掌握平台运行情况，决策执行方案提供即时数据支撑
高校数据中心XML异构数据交换平台模型研究
模型的实现过程中，数据交换流程包括数据抽取、转换和加载（ETL）三个主要阶段。在抽取阶段，从源系统中获取数据并将其转化为XML格式；转换阶段，根据预定义的映射规则将XML数据转换为目标数据库能理解的格式；加载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值