ETL工具kettle之Java脚本+Elasticsearch bulk insert

最新推荐文章于 2025-12-21 21:47:42 发布

原创

最新推荐文章于 2025-12-21 21:47:42 发布 · 5.1k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#kettle #java #Elasticsearch bulk insert

ETL工具kettle之Java脚本+Elasticsearch bulk insert

本文在这里记录一下使用ETL工具Kettle将数据批量插入到Elasticsearch中,由于需要数据类型和日
期格式的转换此处需要引入java脚本.

编写住转换脚本

如图所示:
在这里插入图片描述

第一个表输入,就是直接查询表中所有字段返回;

SELECT
  id
, shop
, productsaleid
, digest
, text
, type
, createtime
, ts
FROM shop_item_text limit 100;

编写java脚本,如果此处需要依赖其他jar,需要把依赖的jar copy到kettle的lib目录下然后重启,并且在编写java脚本时要用类的全类名,要不然找不到类;

public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException {
  if (first) {
    first = false;

    /* TODO: Your code here. (Using info fields)

    FieldHelper infoField = get(Fields.Info, "info_field_name");

    RowSet infoStream = findInfoRowSet("info_stream_tag");

    Object[] i