ETL 数据交换 engine 引擎 时序数据库交换 消息中间件数据分发

最新推荐文章于 2025-05-14 00:08:43 发布
原创 最新推荐文章于 2025-05-14 00:08:43 发布 · 341 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#etl #时序数据库 #数据库

ETLengine在新年首日进行了版本更新，新增对时序数据库如Prometheus、InfluxDB、ClickHouse以及关系型数据库MySQL、PostgreSQL、Oracle、SQLite的支持，同时强化了其作为开发工具的角色。现在，它不仅能处理数据，还能更好地融入各类项目中。

版本迭代

感谢大家对 etl-engine 的持续关注，希望有更多的场景去应用它，跨年第一天迭代更新了一次版本，让 ETL engine 不仅仅是个数据层面的工具，还让它成为你项目中的开发工具。

支持数据源类型

  • 时序数据库
    prometheus influxdb clickhouse
  • 关系型数据库
    mysql postgresql oracle sqlite
  • 文件
    excel csv

在这里插入图片描述

国产ETL工具 etl-engine
威哥
12-07 706
国产 ETL 工具，etl-engine 支持动态解析go语言脚本，实现动态编程，发挥你的想象力并落地到etl-engine中。支持数据源mysql、oracle、postgresql、sqlite、influxdb、clickhouse、prometheus、redis、excel、csv、kafka、rocketmq。
国产ETL etl-engine 流批一体数据交换引擎 轻量级 跨平台 支持动态解析GO语言脚本
威哥
12-06 2337
国产ETL etl-engine 流批一体数据交换引擎 轻量级 跨平台 易集成 适应 物联网 大数据 高可用 场景
ETL 引擎：高效数据转换的新选择
gitblog_00068的博客
04-22 645
ETL 引擎：高效数据转换的新选择 在大数据时代，ETL（Extract, Transform, Load）是数据处理的核心环节。今天我要向大家推荐一个开源项目——etl-engine，它是一个强大的、可扩展的数据处理框架，致力于简化和加速ETL流程。 项目简介 etl-engine 是一个基于Java开发的轻量级ETL工具，它的目标是提供一个灵活、高效的平台，用于从各种数据源抽取数据，进行清洗、...
etl engine 流批一体数据交换引擎
weixin_41003908的博客
07-25 303
流批一体数据交换引擎产品概述我们不仅仅是数据的搬运工，还是数据搬运过程中加工处理的工厂。我们不仅仅适用关系型数据库中，还适配当下流行的时序数据库、消息中间件、Hadoop生态中，支持多种类型数据库之间的融合查询及流式计算。etl-engine的核心思想是为用户快速搭建ETL产品提供解决方案，让用户低代码乃至零代码将ETL产...
体系结构方案 -ETL 中间件
Raqsoft
03-05 1284
【摘要】 ETL 常常做成 ELT 甚至 LET！ 这样做带来的恶果是：1）数据库臃肿、负担重，数据管理混乱；2）性能低下，时间成本高（ 数据库写入很慢），影响 ETL 窗口时间。 解决方案: 引入库外计算引擎 - 集算器，直接计算多样数据源，不依赖于数据库，真正做成 ETL。集算器是一种擅长处理复杂的 ETL 过程的中间件，不用再硬编码，省时省力省人工！ 去乾学院看个究竟吧！ 体系结构方案 -E...
基于规则引擎的数据转发：将ESP32上传数据自动写入数据库的5种自动化路径
[基于规则引擎的数据转发：将ESP32上传数据自动写入数据库的5种自动化路径](https://waverleysoftware.com/app/uploads/2020/05/1200x628-google-esp32-min.png) # 1. 规则引擎与ESP32数据转发的核心原理 在物联网...
[离线数仓] 总结一、数据采集
weixin_44428807的博客
12-29 1076
服务名称子服务服务器hadoop111服务器hadoop112服务器hadoop113HDFSNameNode√DataNode√√SecondaryNameNode√YarnResourcemanager√NodeManager√√ZookeeperZookeeper Server√√√Flume（采集日志）Flume√KafkaKafka√√√Flume（Kafka日志）Flume√Flume（Kafka业务）Flume√Hive√MySQLMySQL√DataX√Spark√√√DolphinSche
数据库故障排查指南-数据库缓存池（Buffer Pool）溢出
最新发布
百态老人的博客
05-14 761
MySQL：支持动态调整Buffer Pool大小，推荐使用SET GLOBAL命令或配置文件设置。SQL Server：通过系统存储过程和动态管理对象实现缓存调整。Oracle：通过动态性能视图和命令调整Buffer Cache大小。分库分表是解决大数据量场景下数据库性能瓶颈的有效手段。通过合理设计分库分表策略，并结合Buffer Pool优化技术，可以显著提升系统的处理能力和稳定性。然而，在实施过程中需要注意跨库事务管理的复杂性以及数据倾斜等问题，以确保系统的高效运行。
大数据之路 读书笔记 Day7 实时技术 简介及流式技术架构
frank-liang的博客
07-18 1038
大数据之路 读书笔记 Day7 实时技术 简介及流式技术架构 关键词：架构、storm、去重指标、数据倾斜
【Hikvision ISAPI大数据应用】：数据处理与分析的高级技巧
文章首先阐述了ISAPI的基本概念和数据采集的基础技巧，然后深入探讨了数据分析与处理的方法，以及在大数据平台中的应用，并强调了数据安全与隐私的重要性。接着，文章着重描述了性能优化和故障排除的策略，最后通过...
国产 etl engine 监控面板 为管理者掌握平台运行情况，决策执行方案提供即时数据支撑
威哥
08-09 277
国产 etl engine 监控面板 为管理者掌握平台运行情况，决策执行方案提供即时数据支撑
流批一体数据交换引擎 etl-engine
威哥
04-08 246
流批一体数据交换引擎etl-engine
6种ETL计算引擎介绍
oOBubbleX的博客
07-01 1644
本文旨在介绍ETL计算引擎的定义、功能和特性，以及6种ETL计算引擎的优缺点。
国产ETL etl-engine 星光不问赶路人 时我不待
威哥
12-11 291
国产ETL工具 etl-engine 也许正是你技术选型之一 可视化 设计器
关于ETL引擎的一点补充
element1999的专栏
03-26 1157
   考虑到scailabilbity，原有ETL引擎由于Task任务直接负责了数据库的读写，导致抽取多个抽取结果无法聚合。也就导致了单个任务无法在多个ETL Server中并行运算，可扩展性较差。因此，有必要把任务的委派，结果集的合并工作独立开来，形成单独的模块。   首先，Task类不再直接操作数据库读写，而是把数据从一处抽取，发送到数据聚合处理模块，形成多个数据源的合并。Task类依然保
Sqoop安装配置 Flume安装配置 数据交换引擎： RDBMS ---- Sqoop---- HDFS（HBase、Hive）
爱喝酒的波斯猫
04-12 430
1、PigLatin语言分析数据 2、Pig自定义函数 准备实验的环境：准备Oracle数据库 1、实验：前面的实验：Oracle闪回（回收站） 2、自带用户：sh/sh ---> 表：sales订单表（大概92万条数据） 3、实验环境 （*）Oracle版本：10g企业版 （*）操作系统：Windows XP 4、安装虚拟机：选XP、关闭防火墙 数据采集的引擎：Sq...
tdengine与MySQL交换数据_浅谈时序数据库TDengine
weixin_39596668的博客
01-27 490
浅谈时序数据库TDengine最近TDengine很火，本人也一直很早就有关注，其官方给出的测试性能结果很喜人，所以一开源，本人就进行了相关调研，最终发现还是存在着一定的问题，期待后续的完善吧写入问题必须为每个Tag组合起一个表名付出的代价：用户必须要保证每个Tag组合起的表名唯一，并且一旦Tag组合数过多用户很难记住每个Tag组合对应的表名，在查询时基本都是靠超级表STable来查询。所以对用户...
流式数据交换引擎：构建物联网应用的ETL引擎
XadxShapes的博客
09-21 257
随着物联网的快速发展，大量的传感器和设备产生的数据需要进行高效处理和分析。为了满足这一需求，流式数据交换引擎（Streaming Data Exchange Engine）成为了物联网应用中的关键组件。本文将介绍如何使用一个流式数据交换引擎来构建物联网应用，并提供相应的源代码示例。
etl engine 监控面板 为管理者掌握平台运行情况，决策执行方案提供即时数据支撑
威哥
08-02 138
国产 etl engine 监控面板 为管理者掌握平台运行情况，决策执行方案提供即时数据支撑
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值