DataX二次开发——(1)新增HANA数据源

DATAX,HANA数据库的书写(使用RDBM数据源传输) DATAX,HANA数据库的书写(JDBC版本)配置rdbm的pom文件,添加上HANA的驱动包ngdbc-2.8.12.jarplugin.json文件里需要添加一下HANA的驱动com.sap.db.jdbc.Driver 配置rdbm的pom文件,添加上HANA的驱动包ngdbc-2.8.12.jar 这里其实ngdbc-2.8.12.jar包放在了lib下面,然后通过加载本地jar包 <!--rdbm 里面添加了HANA的连接jar包 2021-0529 wx--> <de 阅读详情

1、Gitee下载

originhttps://gitee.com/mirrors/DataX.git

2、配置阿里云maven镜像仓库

	<mirror>
        <id>alimaven</id>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <!-- 中央仓库1 -->
    <mirror>
        <id>repo1</id>
        <mirrorOf>central</mirrorOf>
        <name>Human Readable Name for this Mirror.</name>
        <url>http://repo1.maven.org/maven2/</url>
    </mirror>
    <!-- 中央仓库2 -->
    <mirror>
        <id>repo2</id>
        <mirrorOf>central</mirrorOf>
        <name>Human Readable Name for this Mirror.</name>
        <url>http://repo2.maven.org/maven2/</url>
    </mirror>

3、解决tsdbwriter编译异常

Could not resolve dependencies for project com.alibaba.datax:tsdbwriter:jar:0.0.1-SNAPSHOT: Could not find artifact com.aliyun:hitsdb-client:jar:0.4.0-SNAPSHOT in alimaven (http://maven.aliyun.com/nexus/content/groups/public)

注释代码

修改maven

4、Datax eigenbase:eigenbase-properties:pom:1.1.4 was not found in http://maven.aliyun.com/nexus/content/groups/public/ during a previous attempt.

链接: https://pan.baidu.com/s/1EmwnU7JbEql54r-1XZHVuQ 提取码: 7s06 

把下载好的放到对应的maven的仓库,MAVEN_HOME/repository/eigenbase/eigenbase-properties/1.1.4/下,把别的文件都删了

5、编译打包

$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true

6、手动下载jar包

https://repo1.maven.org/maven2/com/sap/cloud/db/jdbc/ngdbc/2.9.12/https://repo1.maven.org/maven2/com/sap/cloud/db/jdbc/ngdbc/2.9.12/

7、将jar包添加到rdbmreader和rdbmwriter的libs目录下

 8、添加maven依赖

		<!--rdbm 里面添加了HANA的连接jar包 -->
		<dependency>
			<groupId>com.sap.cloud.db.jdbc</groupId>
			<artifactId>ngdbc</artifactId>
			<version>2.9.12</version>
			<scope>system</scope>
			<systemPath>${basedir}/src/main/libs/ngdbc-2.9.12.jar</systemPath>
		</dependency>

9、修改plugin.json文件,添加驱动

10、重新打包

$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true

11、可能会遇到的问题

1、写入模式(writeMode)配置有误

在这里插入图片描述

 解决:查看源码,可知rdbms的writeMode仅支持insert,所以不用填,填了反而会报错

 2、没找到对应驱动jar包

到编译打包好的datax目录下/plugin/reader/rdbmsreader/libs 和 /plugin/reader/rdbmswriter/libs 下面看一下是否拥有我们添加的jar包

 解决:clean之后重新打包

DataX 使用rdbms插件同步数据库 Hana数据库 简介 SAP HANA是一款支持企业预置型部署和云部署模式的内存计算平台 ,提供高性能的数据查询功能,用户可以直接对大量实时业务数据进行查询和分析,而不需要对业务数据进行建模、聚合等。SAP内存数据库的数据并不是只在内存里,也会不停写到硬盘里 教程 https://www.w3cschool.cn/sap_hana/ 引用库信息 名字 值 备注 Driver Class com.sap.db.jdbc.Driver HANA JDBC Driver ngdbc.jar 阅读详情

相关推荐

DataX从入门到精通:如何用JSON配置文件搞定跨数据库ETL

本文详细解析DataX的JSON配置文件在跨数据库ETL中的应用,涵盖MySQL-to-Hive、Oracle-to-MySQL等典型场景的配置模板。重点讲解增量同步策略、字段映射技巧及性能调优方法,帮助数据工程师高效解决数据同步难题,提升ETL流程的稳定性和效率。

weixin_42528090的博客 269

Could not find artifact eigenbase:eigenbase-properties:pom:1.1.4 in aliyunmaven

遇到 Could not find artifact 【artifact name】 in aliyunmaven 报错的统一处理方式

twi_twi的博客 3210

SAP ABAP实战:如何用CVI_EI_INBOUND_MAIN批量更新BP邮箱(附完整代码)

本文深入解析了SAP ABAP中CVI_EI_INBOUND_MAIN函数在业务伙伴(BP)数据维护中的应用,重点提供了批量更新BP邮箱地址的完整实战指南。通过详细的数据结构解析、关键字段映射和附带的完整代码示例,帮助开发者高效、准确地完成BP邮箱的批量维护任务,并规避常见错误。

weixin_29216353的博客 207

maven配置仓库

<!-- 阿里云仓库 --> <mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/repositories/central/</url> </mirror.

人终将被少年不得之物困扰一生的博客 745

eigenbase-properties-1.1.4.jar

datax编译必须jar

SAP HANA数据库连接 ngdbc.jar

SAP HANA数据库连接jar ngdbc.jar DRIVER = "com.sap.db.jdbc.Driver"; url="jdbc:sap://<HANA数据库主机名>:30015?reconnect=true"

关于构建springboot2.x出现报错镜像找不到springboot包的问题

同时注意maven的镜像配置文件settings.xml,如果配置有问题会导致超时,爆一堆奇奇怪怪的错误。最后通过将pom.xml文件中的2.7.17.RELEASE改为2.7.17后问题解决。

m0_61016568的博客 1425

eigenbase-properties-1.1.4

[ ] eigenbase-properties-1.1.4-javadoc.jar 06-Dec-2013 18:28 83K [ ] eigenbase-properties-1.1.4-javadoc.jar.md5 06-Dec-2013 18:28 32 [ ] eigenbase-properties-1.1.4-javadoc.jar.sha1 06-Dec-2013 18:28 40 [ ] eigenbase-properties-1.1.4-sources.jar 06-Dec-2013 18:28 20K [ ] eigenbase-properties-1.1.4-sources.jar.md5 06-Dec-2013 18:28 32 [ ] eigenbase-properties-1.1.4-sources.jar.sha1 06-Dec-2013 18:28 40 [ ] eigenbase-properties-1.1.4.jar 06-Dec-2013 18:27 18K [ ] eigenbase-properties-1.1.4.jar.md5 06-Dec-2013 18:27 32 [ ] eigenbase-properties-1.1.4.jar.sha1 06-Dec-2013 18:27 40 [ ] eigenbase-properties-1.1.4.pom 06-Dec-2013 18:27 4.2K [ ] eigenbase-properties-1.1.4.pom.md5 06-Dec-2013 18:27 32 [ ] eigenbase-properties-1.1.4.pom.sha1

datax 持续数据同步_数据源管理 | 基于DataX组件,同步数据和源码分析

本文源码:GitHub·点这里 || GitEE·点这里一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据...

weixin_39789792的博客 374

SQLSTATE58030

在优化一条SQL的时候遇到了执行错误 gtlions =# select t1.telnumber,t2.ua,t2.url,t1.apply_name,t2.apply_name from tb1 t1 gtlions -# left outer join tb2 t2 on t1.sid = t2.ipsid gtlions-# where t1.sum_date=20141128 a

Gtlions Tracker 3660

汇川EASY系列之以太网通讯(MODBUS_TCP做从站)

汇川easy系列PLC做MODBUS_TCP从站,,ModbusTCP服务器默认开启,无需设置通信协议(即不需要配置),端口号为“502”。ModbusTCP从站最多支持31个ModbusTCP客户端(ModbusTCP主站)同时连接。

这是一个长期关注工控行业技术的博客,实现0-1的突破,期待您的关注和留言 8892

FlinkX vs DataX vs Flink-CDC:如何根据业务需求选择最适合的数据同步工具?

本文深度对比了FlinkX、DataX和Flink-CDC三大数据同步工具的优劣势,从处理模式、架构设计、典型延迟等维度进行全面分析,帮助用户根据业务需求选择最适合的工具。特别针对离线批处理和实时同步场景,提供了详细的性能测试数据和配置示例,并探讨了特殊场景下的选型策略。

dapp9builder的博客 187

linux上使用tun/tap设备模拟一个虚拟网卡,并将该虚拟网卡连接到新创建的网桥上

tun/tap设备是操作系统内核中的虚拟网络设备,是用软件模拟的网络设备,提供与硬件网络设备完全相同的功能。主要用于用户空间和内核空间传递报文。tun/tap对于硬件网络设备而言,一端连接的是物理网络,一端连接的是网络协议栈。对于tun/tap设备而言,一端连接的是应用程序(通过 字符设备文件),一端连接的是网络协议栈。

糖果墙的博客 6413

别再乱找增强点了!深入SAP BP新逻辑:HCM同步供应商数据的正确ABAP增强姿势

本文深入解析SAP BP新逻辑下HCM数据同步的ABAP增强技术,揭示复杂嵌套结构中实现高效增强的核心机制。通过详细拆解同步流程、增强接口实战技巧及调试方法论,帮助开发者避免常见陷阱,掌握供应商数据同步的正确姿势。

weixin_30919571的博客 805

WordPress插件depicter存在SQL注入漏洞(CVE-2025-2011)

Depicter 是一款功能强大的 WordPress 幻灯片插件,允许用户通过直观的拖放编辑器轻松创建响应式滑块、轮播和动态内容展示。该插件提供丰富的模板库、动画效果和图层控制,支持多媒体内容嵌入(如图片、视频、HTML),并优化了移动端显示和SEO性能。其无代码操作界面适合非技术用户,同时提供高级自定义选项,适用于产品展示、营销推广和视觉叙事等多种场景,是提升网站视觉吸引力的高效工具。

m0_50125527的博客 555

医学图像的对抗攻击:模型安全性与鲁棒性分析

医学图像的对抗攻击:模型安全性与鲁棒性分析 ,人工智能,计算机视觉,大模型,AI,本文围绕医学图像的对抗攻击展开,分析了其对AI模型的威胁。介绍了对抗样本定义、攻击原理,以及FGSM、BIM、PGD等常见攻击方法,还给出了相关代码示例。阐述了攻击对模型诊断准确性和可信度的影响,提出对抗训练、输入预处理、模型集成等提升模型安全性与鲁棒性的方法,探讨了评估指标、数据集和流程,分析了实际应用中的挑战与应对策略,最后展望了未来发展趋势。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 18万+

Apache DolphinScheduler 接入 Databend 数据源:参数详解与源码级连接原理

Apache DolphinScheduler 通过插件化的数据源架构内置了对云原生数仓 Databend 的原生支持。本文基于官方文档与仓库源码,完整讲解在 DolphinScheduler 中创建 Databend 数据源的每个配置参数、JDBC 连接串的构造规则、JSON 格式连接参数的正确写法,并结合 [DatabendDataSourceProcessor](https://link.g

gitblog_00525的博客 353

Debezium报错处理系列之二十一:Unable to connect: Communications link failure.The driver has not received any

Debezium报错系列之二十一:Unable to connect: Communications link failure.The driver has not received any。

zhengzaifeidelushang的博客 547

LarkMidTable 数据中台详解:larkmidtable-web 产品功能、部署配置与任务执行链路

本文基于 `larkmidtable-web/README.md` 及其关联的安装文档展开,系统讲解 LarkMidTable 数据中台的产品定位、功能矩阵与技术选型,并结合开源仓库中的 Maven 多模块工程、`application.yml` 配置、建库 SQL 与 flinkx/datax 启动脚本,完整还原从拉取代码、初始化数据库到启动 `larkmidtable-web` 后端服务并接入

gitblog_00849的博客 139

API Streaming Failed 400 <400>InternalError.Algo.InvalidParameter input content must be a string解决方案

本文主要介绍了API Streaming Failed 400 <400> InternalError.Algo.InvalidParameter input content must be a string解决方案,希望能对使用vscode中cline的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 3万+

基于卷积神经网络的球罐结构损伤识别

球罐结构损伤识别方法研究 摘要:本研究针对球形储罐(球罐)结构健康监测需求,提出基于卷积神经网络(CNN)的损伤识别方法。通过ANSYS有限元仿真构建包含5种裂纹深度的500组振动信号数据集,设计包含卷积层、池化层和全连接层的CNN网络架构。实验结果表明,该方法在训练集和测试集上分别达到98.4%和96.0%的准确率,验证了其在球罐焊缝损伤识别中的有效性。研究提供了完整的MATLAB实现代码,为球罐结构智能化监测提供了技术参考。 关键词:球罐结构;卷积神经网络;损伤识别;振动信号;深度学习

AI的内部世界的博客 120

【数据产品】数据产品如何选型

一、数据仓库选型 数据仓库选型是整个数据中台项目的重中之重,是一切开发和应用的基础。而数据仓库的选型,其实就是Hive数仓和非Hive数仓的较量。 Hive数仓以Hive为核心,搭建数据ETL流程,配合Kylin、Presto、HAWQ、Spark、ClickHouse等查询引擎完成数据的最终展现。 非Hive数仓则以Greenplum、Doris、GaussDB、HANA(基于SAP BW构建的数据仓库一般以HANA作为底层数据库)等支持分布式扩展的OLAP数据库为主,支持数据ETL加工和OLAP查

Sunny的专栏 1441

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

LarkMidTable 一站式开源数据中台:产品架构、数据集成能力与完整部署指南

LarkMidTable(中文名“云雀”)是一个一站式开源的数据中台产品,围绕元数据管理、数据仓库开发、数据质量管理与数据可视化四大能力,为数据前台提供高效赋能与数据服务。本篇基于项目根目录的 [README_EN.md](https://link.gitcode.com/i/45ef0a72b0991b4255dcc3f8c5dcec10) 展开,结合仓库内安装手册 [部署文档](https:/

gitblog_00138的博客 199

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Mac 安装 Office 指南:5 步装好并激活 2011 到 2024 全版本

你正要给客户演示一份 .ppt,打开新 Mac 才发现没有 PowerPoint,App Store 的免费版本打不开新文档,卡在「未激活」一步。开源项目 **Microsoft-Office-For-MacOS** 就是一个 Mac Office 安装激活工具包:授权写入程序、官方安装包清单、重置工具、隐私脚本都放在同一个仓库里,把版本配得准、顺序走对,从零到打开 Word 只需要几分钟。 #

gitblog_00962的博客 640

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

mongoDB数据交换同步到MySQL数据库

1、数据交换的目的 进行信息/数据的传输及共享,提高信息资源的利用率,成为进行信息化建设的基本目标,保证分布异构系统之间互联互通,建立中心数据库,完成数据的抽取、集中、加载、展现,构造统一的数据处理和交换。 2、数据源的配置 直接在管理页面中增加MySQL、mongoDB数据源,并测试连接成功。 3、数据同步任务的配置 打开【数据交换】页面,配置增加数据交换同步任务...

marko39的专栏 8376

LarkMidTable 功能全景:功能列表、数据集成能力矩阵与源码实现解析

本篇基于 LarkMidTable 仓库中的功能文档([larkmidtable-doc/function.md](https://link.gitcode.com/i/7ccf756876ab225800617059600dfd14)),系统梳理该开源数据中台已实现的功能模块(数据报表、基础建设、数据集成、数据开发、数据服务),并结合仓库源码解析数据集成模块中 Flinkx 数据同步 JSON

gitblog_00178的博客 385
上一篇: Greenplum——Master自动fail-over高可用方案
下一篇: Flink实战-(3)Flink Kafka实时同步到MySQL
CarsonBigData
博客等级 码龄9年 8316粉丝 166原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值