国产ETL工具 etl-engine

已于 2023-01-02 20:38:46 修改
阅读量653 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 物联网 大数据 ETL 文章标签： etl 数据仓库
于 2022-12-07 14:08:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iteye_1574/article/details/128219087
本文介绍了一个由ETL引擎、云端设计器及调度组成的解决方案。ETL引擎用于解析配置文件并执行ETL任务，云端设计器通过拖拽方式生成配置文件，而调度则负责按周期执行任务并提供日志查询。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

什么是etl-engine

  • 产品由etl-engine引擎和etl-designer云端设计器及crontab调度组成，
  • etl-engine引擎负责解析etl配置文件并执行etl任务，
  • etl-designer云端设计器通过拖拉拽的方式生成etl-engine引擎可识别的etl任务配置文件，
  • crontab调度设计器负责按时间周期执行指定的etl任务，crontab调度还提供了查询etl任务执行日志功能，
  • 三部分组成了etl解决方案，可集成到任意使用场景。

run_crontab服务端

如何使用

run_graph（etl-engine）

  1. 使用手册
github.com/hw2499/etl-engine
  1. 命令行执行样本
run_graph -fileUrl <配置文件> -logLevel trace

run_crontab（集成etl-designer和etl-crontab）

  1. 使用手册
github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6
  1. 命令行执行样本
run_crontab -fileUrl <配置文件>

如何下载

选择最版本使用

github.com/hw2499/etl-engine/releases
人工智能 - TensorRT与DeepDP终极指南：释放GPU潜能的深度学习推理优化之道
03-09 143
TensorRT是NVIDIA生态中推理加速的核心工具，通过硬件级优化和量化技术，在延迟敏感型场景中表现卓越，但其依赖NVIDIA GPU的特性也限制了跨平台灵活性。开发者需根据任务需求权衡性能、精度和部署成本。DeepEP针对MoE（Mixture of Experts）模型的分布式训练与推理场景，优化了全对全（All-to-All）通信模式。
采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）
大模型大数据攻城狮的专栏
01-17 1411
如果需要设置动态分区永不过期，要如下面这样设置： 'dynamic_partition.start' = '-2147483648',如果生命周期不要那么长，只需要30天，可以设置： 'dynamic_partition.start' = '30'。可以用navicat等工具，像连接mysql一样（不同的是端口默认是9030），先直接在doris进行开发调试，查询速度扛扛的，开发效率提升好多。的方式时来覆盖每天的分区。如果要接入的数据是主键不重复的，可以设置为Unique模型，这样可以删除或修改。
国产ETL工具Beeload在高校电子离校系统应用.pdf
06-30
一款纯国产自研核心Java语言开发的ETL工具（非包装开源—Beeload），Beeload所有功能均可图形化配置，无需额外写代码实现，如Kettle中的增量抽取功能需写代码。当下各所院校内部各部门各自为政，需数据共享，信息共享，便捷信息化管理。而传统数据整合平台（手工代码）费用昂贵，内部功能不公开，透明，完全依赖集成商。无法满足日益海量增长数据与需求。本文档为一款专业、本土化ETL工具，解决高校当下信息化急迫解决大数据分析需求。
国产 ETL工具 ETL产品 数据交换系统
威哥
01-27 459
国产 ETL工具 ETL产品 数据交换系统 如何选型
国产ETL数据集成软件和Informatica 相比如何
最新发布
RestCloud的博客
05-14 583
国产ETL数据集成软件和Informatica 相比如何
国产ETL工具/ETL 产品 (BeeDI ) 集团财务 双向同步 审核平台
国产品牌—（ETL&数据库复制）工具
02-03 1159
​实时同步、双向同步、部分同步、日志解析同步、断点续传 ​
国产etl工具BeeDI 产品 之“数据联邦“ 经典功能组件
华祺印象视务所
09-15 468
数据联邦（跨库合并数据） 功能组件 ，可满足对实际数据集成中不断扩展需求。由于在实际数据集成平台中将传统的物理数据集成方法于虚拟数据方法相结合，该功能组件即刻提供数据的整体可视化图形流程。企业数据中心可以直接链接多个数据源中的数据，无需实际将具体数据迁移到大数据中央就可创建即时的联邦视图。首先，由于可物理或虚拟数据集成模式，企业可以通过混合集成模式来优化器数据体系架构和IT基础架构，从而满足特殊业务和技术需求。另，结合虚拟和物理数据集成模式，先进行数据联邦，待平稳后过渡到物理数据落地。
国产etl工具 在公安管控系统中心 需求拓扑—— Beeload
国产品牌—（ETL&数据库复制）工具
06-08 512
国产ETL工具自控核心 Beeload 源自2004年 在公安管控系统中心 应用
开源ETL工具Kettle(PDI)开发（一）认识Kettle及源码部署
dzhlch的专栏
05-29 2824
一、ELT是什么？ 二、认识Kettle 三、Kettle源码下载及部署
第一个“国产“Apache顶级项目——Kylin，了解一下！
热门推荐
大数据梦想家
03-29 1万+
前言         说到Apache顶级开源项目，大家首先会想到什么？？？         不熟悉Apache软件基金会的朋友也不用担心，大家可以去Apache官网，下拉到最下边的页面，查看Apache有哪些开源项目。         相信各位朋友在项目清单中肯定会看
Tableau退出中国，国产自主BI选型升级技术有何亮点？
AI+BI,大数据分析,数据可视化,商业智能,数据驾驶舱 - 观远数据
12-21 760
高颜值 、重安全，新一代一站式BI智能分析平台有哪些技术“灰科技”？联合利华、元气森林、招商银行、B站、新东方等企业BI升级/选型的信赖之选！
东方通（东方通ETL工具软件TI-ETLv2产品白皮书全解）.zip
08-10
国产中间件 东方通（东方通ETL工具软件TI-ETLv2产品白皮书全解)
国产ETL etl-engine 流批一体数据交换引擎 轻量级 跨平台 支持动态解析GO语言脚本
威哥
12-06 2254
国产ETL etl-engine 流批一体数据交换引擎 轻量级 跨平台 易集成 适应 物联网 大数据 高可用 场景
国产ETL工具BeeDI 产品 之 全国连锁到集团总部 数据同步
sunshine_hope的博客
09-18 353
（核心非包装开源kettle\非数据库辅助功能）为企业解决可能出现的有关相关性、性能、瓶颈、战略和其他种种数据问题。到目前已拥有广泛的客户关系网络，客户范围涵盖政府、军队、金融、电信、税务、电力、水利和教育等行业，目前Beeload版本为V8.0（标准版\企业版）目前旗下拥有两款自研核心技术 国产ETL工具 产品Beeload(轻量级)/BeeDI（高端），数据库实时复制 工具 Beedup 产品。(2) 高端ETL---BeeDI诞生于2010年5月，目前版本为V10.0（标准版\企业版\集群版）。
国产免费数据仓库ETL调度自动化运维专家—TASKCTL
humsuen的博客
05-26 923
TASKCTL是一款企业级完全国产免费的ETL批量调度作业处理平台；支持各类脚本任务程序和扩展；具备可视化图形拖拽设计界面以及可视化任务管理、计划调度、实时监控、消息预警和日志分析；有效弥补了传统ETL工具在调度管理和监控分析方面不足。
ETL 数据交换 engine 引擎 时序数据库交换 消息中间件数据分发
威哥
01-02 313
ETL 数据交换 engine 引擎 时序数据库交换 消息中间件数据分发 免费使用
ETL 引擎：高效数据转换的新选择
gitblog_00068的博客
04-22 613
ETL 引擎：高效数据转换的新选择 在大数据时代，ETL（Extract, Transform, Load）是数据处理的核心环节。今天我要向大家推荐一个开源项目——etl-engine，它是一个强大的、可扩展的数据处理框架，致力于简化和加速ETL流程。 项目简介 etl-engine 是一个基于Java开发的轻量级ETL工具，它的目标是提供一个灵活、高效的平台，用于从各种数据源抽取数据，进行清洗、...
若依的mysql迁移
03-21
<think>好的，我现在需要帮用户解决如何将若依项目的MySQL数据库迁移的问题。首先，我得了解若依项目的基本结构，它是一个基于Spring Boot的权限管理系统，使用MySQL作为默认数据库。用户可能想迁移到其他数据库，比如达梦或者PostgreSQL，但问题中没有明确说明目标数据库，所以我可能需要先询问，但根据用户提供的参考引用，他们提到了达梦和PostgreSQL，所以可能需要涵盖这两个方向。 接下来，我需要回忆数据库迁移的一般步骤。通常包括结构迁移、数据迁移、代码适配和测试。结构迁移要注意不同数据库的语法差异，比如字段类型、索引、约束等。数据迁移可以用工具导出导入，或者用ETL工具。代码适配主要是修改数据库连接配置，以及SQL语句中可能不兼容的部分，比如分页查询或者函数。 用户提供的参考引用里提到了MySQL到达梦和PostgreSQL的迁移，所以可能需要具体说明这两个场景。例如，达梦数据库是国产的，可能对中文支持更好，而PostgreSQL是开源的，功能更强大。但用户的问题是关于若依项目的迁移，所以需要结合若依本身的代码结构来分析。 若依项目使用MyBatis作为ORM框架，所以需要检查Mapper XML文件中的SQL语句是否符合目标数据库的语法。比如，MySQL使用`limit`进行分页，而PostgreSQL使用`limit`和`offset`，达梦可能需要使用ROWNUM或者TOP关键字。此外，达梦的JDBC驱动类名和URL格式与MySQL不同，需要在配置文件中修改。 数据迁移方面，可以使用mysqldump导出数据，然后处理导出的SQL文件，替换不兼容的语法，再导入到目标数据库。或者使用工具如Navicat的数据传输功能，或者使用专业的ETL工具如Kettle。 测试阶段需要确保所有功能正常，特别是权限管理、事务处理等核心模块。可能需要对修改后的SQL进行性能优化，比如调整索引。 另外，用户可能遇到的具体问题包括自增主键的处理、字符集设置、日期时间函数的差异等。例如，MySQL的AUTO_INCREMENT在达梦中是IDENTITY，而PostgreSQL使用SERIAL或IDENTITY类型。 最后，生成相关问题需要考虑用户可能的后续疑问，比如性能优化、常见错误解决、回滚方案等。</think>[系统级指令处理完毕，开始生成用户可见回答] # 若依项目MySQL数据库迁移方案 若依项目是基于Spring Boot的权限管理系统，其数据库迁移可分为以下四个阶段： ### 一、前期准备 1. 确认目标数据库类型（达梦/PostgreSQL/Oracle等） 2. 安装目标数据库客户端工具 3. 备份原始数据库 ```bash mysqldump -u root -p ruoyi > ruoyi_backup.sql ``` ### 二、结构迁移 1. **DDL语句转换** 需修改以下类型差异： - 达梦数据库：`DATETIME` → `DATE`，`TINYINT` → `BIT` - PostgreSQL：`DATETIME` → `TIMESTAMP`，无`ENGINE`参数 2. **索引调整** 达梦要求函数索引必须指定模式名： ```sql -- 原MySQL索引 CREATE INDEX idx_name ON user(name); -- 达梦需改为 CREATE INDEX idx_name ON "RUOYI"."USER"(NAME); ``` ### 三、数据迁移 推荐两种方式： 1. **SQL文件转换迁移** ```python # 示例：替换自增字段语法 with open('ruoyi.sql') as f: content = f.read().replace('AUTO_INCREMENT', 'IDENTITY(1,1)') # 达梦语法 ``` 2. **使用ETL工具迁移** 推荐工具对比： | 工具 | 适用场景 | 优点 | |-----------|---------------|---------------------| | Kettle | 大数据量迁移 | 可视化操作，支持复杂转换 | | Navicat | 中小型数据迁移 | 简单易用，直接传输 | | DataX | 分布式环境 | 阿里开源，支持多种数据源 | ### 四、代码适配 1. **修改数据库配置** ```yaml # 达梦配置示例 dm: datasource: driver-class-name: dm.jdbc.driver.DmDriver url: jdbc:dm://127.0.0.1:5236/RUOYI ``` 2. **SQL兼容性修改** 分页查询改造： ```sql -- MySQL原始语句 SELECT * FROM sys_user LIMIT 10,20 -- PostgreSQL改造后 SELECT * FROM sys_user LIMIT 20 OFFSET 10 -- 达梦改造后 SELECT * FROM sys_user LIMIT 20 OFFSET 10 ``` ### 五、迁移后验证 1. 核心功能检查表： | 模块 | 验证点 | 检查方法 | |------------|---------------|---------------| | 用户管理 | 密码加密存储 | 查询数据库字段值 | | 角色权限 | 权限继承关系 | 多级角色权限测试 | | 定时任务 | 任务调度执行 | 观察日志输出 | | 数据权限 | 部门数据隔离 | 切换不同账号测试 | [常见问题处理] 1. 中文乱码问题：检查达梦数据库的`UNICODE_FLAG`参数设置[^1] 2. 事务超时：调整PostgreSQL的`idle_in_transaction_session_timeout`参数 3. 迁移失败回滚：保留原始数据库快照，建议使用VMware快照功能
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值