使用dw-etl完美替代kettle

最新推荐文章于 2025-08-09 13:12:39 发布

原创

最新推荐文章于 2025-08-09 13:12:39 发布 · 2.5k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#数据仓库 #java

使用dw-etl完美替代kettle

相信用过kettle的人都对这个工具既爱又恨，爱的是它功能很多，界面操作很丰富，一副无所不能的样子。然而，真要用它解决一些棘手的问题，它又显得无能为力。

例如这样的标准场景，数据仓库从ods层迁移数据到dw层时，ods层表格很可能类似于exam这个表的样子：
exam表
数据仓ods层一个单表通常包含有事实字段和维度字段。
而数据仓dw层则需要把表拆成事实表+维度表的星型结构，或者雪花型结构
在这里插入图片描述
面对这样的问题kettle无法优雅地解决，并且现实是我们通常还要应对全量、增量数据同步，还有维度数据的缓慢变化。

dw-etl专门为解决数据维度拆分转换设计，通过一个json配置文件，完成事实表和维度表的建模描述，到数据转换运行时，把源数据表数据逐行传给dw-etl转换引擎，则会自动完成拆分入库目标事实表和维度表。

话不多说贴上json配置文件源码供鉴赏：

{
   
   
  "project_name": "期末考试分数事实表",
  "fact_table": {
   
   
    "table_name": "fact_exam",
    "etl_columns": [
      {
   
   
        "col": "id",
        "src_col": "id",
        "data_type": "INT(11)",
        "is_auto_id": false
      },
      {
   
   
        "col": "course_agent_id",
        "data_type": "int(11)",
        "is_auto_id": false,
        "dim_id_from": "dim_course.agent_id"
      },
      {
   
   
        "col": "teacher_agent_id",
        "data_type": "int(11)",
        "is_auto_id": false,
        "dim_id_from": "dim_teacher.agent_id"
      },
      {
   
   
        "col": "student_agent_id",
        "data_type": "int(11)",
        "is_auto_id": false,
        "dim_id_from": "dim_student.agent_id"
      },