Kettle 采用JNDI方式报Required subelement 'driver'

最新推荐文章于 2023-08-05 12:35:37 发布
原创 最新推荐文章于 2023-08-05 12:35:37 发布 · 2.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种解决simple-jndi中jdbc.properties文件出现乱码导致程序无法正常运行的问题。通过调整文件的编辑方式，避免乱码出现，确保应用程序能够正确加载配置。

极其坑爹的报错。先说一下如何解决吧

simple-jndi下有一个jdbc.properties的属性文件  将第一行写###  格式如下：

###

simpleData/type

simpleData/driver

simpleData/url

原因竟然是我用EditPlus编辑了该文件，然后读出来的前几个字母是乱码？至今仍然没有搞清楚为什么会是乱码。


【kettle】【报错】required subelements 'user'
下雨天@博客
09-25 1090
kettle 使用jndi连接时候，测试连接时候无法连接到数据库； 报错消息：Required subelement 'user' 原因：jndi.properties配置文件错误； 解决方案：找一个正确的jdbc.properties 替换就好 便可解决问题； \data-integration\simple-jndi/jd SampleData/type=javax.sql.Da...
kettle使用JNDI连接数据库
一天不写代码难受的博客
02-06 2308
目录第一步第二步第三步 第一步 找到配置文件 第二步 将数据源配置进去 SOURCE/type=javax.sql.DataSource SOURCE/driver=com.mysql.cj.jdbc.Driver SOURCE/url=jdbc:mysql://127.0.0.1:3306/kettle?useSSL=false&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&
Kettle导入并设置自定义数据库驱动(JDBC Driver)
the_singing_towers的博客
10-28 3627
将Impala 或者其他自定义JDBC 驱动导入kettle
kettle 数据库连接找不到jdbc Driver问题解决方法
TechRunner
03-31 7423
以oracle为例，将数据库驱动jar（ojdbc.jar）放到 data-integration\lib目录下，然后重启kettle即可。
【ETL】Kettle连接MySQL疑难问题及解决技巧
愚蠢的小根儿
12-12 1万+
1. 指定驱动 一般来说，为了方便配置，在kettle中新建mysql连接时，都选择Native（JDBC）方法，这种方法虽然快捷，但是不能指定驱动类型，而且kettle默认使用的是org.gjt.mm.mysql.Driver，而mysql 8.0以上connector已经不再支持这个包名，所以，会出现明明已经将mysql-connector-java-8.0.xx.jar包拷贝到lib目录下，...
kettle simple-jndi 配置中心
u011458344的专栏
08-05 1372
【代码】kettle simple-jndi 配置中心。
Kettle工具通过JNDI连接Oracle集群
医疗数据
03-08 2787
我们在用Kettle ETL工具的时候，可能会遇到数据库为Oracle集群的模式，或者有时候目标库为oracle，在持续的循环调度中，经常发现oracle的数据库连接中断的情况，此时，在Kettle中有一个JNDI的连接方式能很好的解决此模式的连接。
java调用kettle，数据源使用JNDI方式
zhuzi51的专栏
04-05 2486
楔子 java 调用kettle，kettle数据源使用jndi方式，并且共享 JNDI数据源配置 KettleEnvironment.init(true) 会进行配置JNDI文件位置 public static void initJNDI() throws KettleException { String path = Const.JNDI_DIRECTORY; i...
使用Kettle报错的解决方法
spcsdn_18785143187的博客
07-20 2万+
1.当你在navicat上面测试数据库连接的时候可以看到数据库连接成功。而在Kettle上面连接同样的库的时候报出一大段错误出来，这时候是不是感觉有点懵逼了。 错误内容如下： 错误连接数据库 [test库] : com.tyky.di.core.exception.XbridgeDatabaseException: Error occured while trying to ...
kettle_配置数据库连接_报错
超的专栏
05-19 2035
kettle,spoon 建立与mysql的数据库连接
kettle以JNDI的方式连接数据库 以及 乱码问题
zhuzi51的专栏
02-20 3650
kettle连接数据库 kettle连接数据的的方式 连接数据库的方式很多，相比之下使用JNDI的方式更加方便，不会因为数据库迁移等问题而修改太多文件 在 kettle的home目录下 ${kettle_home}/simple-jndi里面的jdbc.properties 文件中配置 oracle的配置为(其中 hc是JNDI的名称) hc/type=jav...
MySQL workbench 中文乱码 显示口口
热门推荐
shxluwei的专栏
09-27 2万+
Edit-->perference...-->Apperance  如下图 即可
Kettle使用jndi
cai555的专栏
03-24 740
kettle可以使用jdbc的方式设置job或者tansform的数据库连接，但是，同时它也支持JNDI方式连接数据库，后者更加方便，只需要配置一份配置文件就可以了，不用每个DBConnection都配置一遍。具体使用方法如下：   1. 在data-integration\simple-jndi\jdbc.properties中加入jdbc的连接信息。 比如： #######...
kettle jndi
互联网金融爱好者
06-03 1778
D:\data-integration\simple-jndi\jdbc.properties   tools-datasource   #SampleData/type=javax.sql.DataSource #SampleData/driver=org.hsqldb.jdbcDriver #SampleData/url=jdbc:hsqldb:hsql://localhost/s
如何在Spring Boot中动态刷新Kettle的JNDI DataSource配置？
最新发布
09-18
<think> 我们正在处理用户的问题：在Spring Boot中动态刷新Kettle的JNDI DataSource配置的方法。 根据引用[1]和[3]，我们知道： - 引用[1]提到了SpringBoot内置Tomcat实现JNDI多数据源配置，包括添加依赖、启动类注解、配置数据源信息和yml文件。 - 引用[3]提到了在java工程中使用kettle，并且给出了一个数据源配置的示例。 用户的需求是动态刷新Kettle的JNDI DataSource配置。这意味着在运行时，我们可能需要更改数据源配置（例如数据库连接信息）而不重启应用。 分析： 1. Kettle（现在称为Pentaho Data Integration）是一个ETL工具，在Java应用中可以通过API调用。 2. JNDI (Java Naming and Directory Interface) 是一种Java API，允许应用程序通过名称访问资源，如数据源。 3. 在Spring Boot中，我们通常使用JNDI来获取容器管理的数据源（如Tomcat提供的）。 动态刷新的需求通常涉及： - 当数据源配置（如数据库URL、用户名、密码）发生变化时，我们希望Kettle作业能够使用新的数据源而不重启应用。 实现思路： 1. 首先，我们需要配置JNDI数据源（如Tomcat JNDI），并让Spring Boot应用能够访问它。 2. 然后，我们需要在Kettle中获取这个JNDI数据源。在Kettle中，我们可以使用“JNDI”作为连接类型。 3. 动态刷新的关键点在于：当底层数据源配置变更时，如何让Kettle获取到新的数据源连接？ 考虑Spring Boot的特性，我们可以利用以下方法来实现动态刷新： - 使用Spring Cloud Config等配置中心来管理数据源配置，并通过Spring的刷新机制（如@RefreshScope）来重新加载数据源。 - 但是，JNDI数据源通常是由应用服务器（如Tomcat）管理的，所以我们可能需要在Tomcat层面重新加载数据源。 然而，在Spring Boot内嵌Tomcat中，JNDI数据源是在应用启动时创建的，并且默认情况下不会重新加载。因此，我们需要一种机制来重新绑定JNDI数据源。 具体步骤建议： 步骤1：配置Tomcat JNDI数据源（参考引用[1]） - 在application.yml中配置数据源（虽然我们使用JNDI，但也可以在这里配置，然后通过JNDI获取）。 - 或者，在Tomcat的server.xml或context.xml中配置JNDI资源（对于内嵌Tomcat，我们可以在Spring Boot中通过编程方式配置）。 步骤2：动态刷新数据源 - 方案一：重启应用上下文（不推荐，因为会中断服务） - 方案二：重新初始化数据源 我们可以通过监听配置变更事件，然后重新创建数据源并重新绑定到JNDI。 但是，重新绑定到JNDI需要操作Tomcat的JNDI上下文，这通常是不被允许的（JNDI上下文通常是只读的）。因此，可能需要重新创建整个Tomcat的JNDI上下文，这非常复杂。 另一种思路：绕过JNDI，直接使用Spring管理的数据源，并让Kettle使用这个数据源。这样我们可以利用Spring的刷新机制。 在引用[3]中，我们看到一个配置示例，它使用了直接JDBC连接（非JNDI）。因此，我们可以考虑不使用JNDI，而是使用一个可刷新的数据源。 具体实现： 1. 在Spring Boot中，我们可以创建一个DataSource Bean，并加上@RefreshScope（需要Spring Cloud Config和Actuator）。 2. 当配置变更时，通过Actuator的refresh端点触发刷新，那么DataSource Bean会被重新创建。 3. 在Kettle中，我们不再通过JNDI名称查找，而是直接使用这个Spring管理的DataSource。 如何在Kettle中使用Spring管理的数据源？ - 在Kettle作业或转换中，我们可以通过API设置数据库连接的数据源。例如，在初始化Kettle环境时，将Spring DataSource传递给Kettle的数据库连接。 步骤： 1. 配置可刷新的数据源： - 添加依赖：Spring Boot Actuator和Spring Cloud Config Client（如果需要从配置中心获取配置）。 - 在配置类中： ```java @Configuration public class DataSourceConfig { @Bean @RefreshScope @ConfigurationProperties(prefix = "spring.datasource") public DataSource dataSource() { return DataSourceBuilder.create().build(); } } ``` 2. 在Kettle初始化时，使用这个数据源。 例如，我们可以创建一个Kettle的数据库连接对象，并使用Spring的数据源来设置连接： ```java // 获取Spring管理的DataSource DataSource dataSource = applicationContext.getBean(DataSource.class); // 创建一个Kettle的数据库连接对象 DatabaseMeta databaseMeta = new DatabaseMeta(); databaseMeta.setDatabaseInterface(new SomeDatabaseInterface()); // 根据数据库类型选择 // 但是，Kettle的DatabaseMeta并不直接接受一个DataSource对象，所以我们需要另一种方式。 // 另一种方式：我们可以从DataSource中获取连接信息（URL, 用户名，密码等），然后设置到DatabaseMeta中。 // 但是这样无法利用连接池。 // 更好的方式：让Kettle使用我们提供的连接池。在Kettle中，可以使用“Pooling”连接类型，但我们需要将Spring的DataSource包装成Kettle可以使用的连接池。 // 实际上，Kettle可以通过DatabaseMeta.setConnectionPoolingProperties()来设置连接池属性，但默认支持的是DBCP等。我们可以自定义一个连接池提供程序。 // 或者，我们可以不使用Kettle内置的连接池，而是直接使用Spring管理的DataSource。在Kettle中执行SQL步骤时，我们可以通过自定义代码传入连接。 ``` 3. 动态刷新：当数据源刷新后，我们需要重新初始化Kettle中使用的数据库连接。这可能需要重新加载所有相关的Kettle作业和转换。 由于Kettle本身的设计，它通常通过数据库名称（在DatabaseMeta中定义的名称）来引用连接。如果我们改变了数据源，我们需要更新这些DatabaseMeta对象。 因此，我们需要： - 监听数据源刷新事件（例如，监听RefreshScopeRefreshedEvent）。 - 在事件处理中，更新Kettle环境中的所有DatabaseMeta对象（或者重新加载使用该数据源的作业和转换）。 但是，这可能会很复杂，因为Kettle的元数据（如DatabaseMeta）通常是静态定义的。 替代方案：不使用Kettle的元数据来管理数据库连接，而是在运行时动态传入连接。在Kettle作业或转换的步骤中，我们可以通过API设置数据库连接。这样，我们就可以在每个执行中使用新的数据源。 例如： ```java Trans trans = ... // 获取转换 trans.setVariable(...); // 设置变量 // 获取新的数据库连接（从Spring DataSource中获取） Connection connection = dataSource.getConnection(); // 将连接传递给转换中的步骤 // 但是，Kettle的步骤通常是通过数据库名称来获取连接的，所以我们需要覆盖这个行为。 // 我们可以自定义一个步骤，让它使用传入的连接。 ``` 考虑到Kettle的架构，这种方法可能需要修改Kettle的步骤，或者使用Kettle的注入功能（如“Database Connections from Repository”）。 结论： 动态刷新Kettle的JNDI数据源配置在Spring Boot中较为复杂，因为JNDI本身不支持动态刷新。因此，我们建议采用替代方案： 1. 使用Spring管理的可刷新数据源（非JNDI）。 2. 修改Kettle作业执行方式，在每次执行时从Spring容器中获取最新的数据源，并通过API设置到Kettle作业/转换中。 具体实施步骤： 步骤1：配置可刷新的数据源（不使用JNDI） - 按照上述方式创建@RefreshScope的DataSource Bean。 步骤2：创建Kettle执行服务 - 在服务中，当需要执行Kettle作业或转换时，从Spring容器中获取当前的DataSource。 - 使用这个DataSource创建一个数据库连接，然后将该连接设置到Kettle的Database连接对象中。 步骤3：自定义Kettle执行 - 在初始化Kettle环境时，我们可以覆盖默认的数据库连接获取方式。或者，我们可以在执行转换之前，替换转换中的数据库连接。 示例代码片段： ```java @Service public class KettleService { @Autowired private DataSource dataSource; // 可刷新的数据源 public void runTransformation(String transformationPath) throws KettleException { // 创建转换 TransMeta transMeta = new TransMeta(transformationPath); Trans trans = new Trans(transMeta); // 获取转换中所有的数据库连接元数据（DatabaseMeta） DatabaseMeta[] databases = transMeta.getDatabases(); // 假设我们只有一个数据库连接，或者我们知道要替换的数据库连接的名称 DatabaseMeta databaseMeta = ... // 找到你想替换的那个DatabaseMeta // 创建一个新的数据库连接信息，使用我们自己的数据源 // 但是，DatabaseMeta并不直接支持外部数据源，所以我们需要自定义一个DatabaseMeta子类？或者修改连接信息？ // 另一种思路：不使用DatabaseMeta，而是直接在执行步骤时传入连接 // 我们可以通过设置变量，然后在转换中通过“获取变量”步骤来设置连接信息？不行。 // 因此，我们可能需要修改转换，让它使用参数（变量）来接收连接信息（如URL，用户名，密码）。然后在执行时传入这些参数。 // 但是，这样就需要修改转换设计。 // 或者，我们可以使用Kettle的“共享”功能，将数据库连接设置为共享，然后在运行时覆盖共享连接。 // 参考：https://stackoverflow.com/questions/41447477/how-to-set-database-connection-at-runtime-in-kettle-spoon // 设置共享连接 DatabaseMeta sharedDatabase = new DatabaseMeta(); // 配置sharedDatabase（根据当前DataSource获取连接信息） // 注意：我们需要从dataSource中提取URL，用户名，密码等信息，这需要根据具体的数据源实现（如HikariDataSource）来获取。 if (dataSource instanceof HikariDataSource) { HikariDataSource hikariDataSource = (HikariDataSource) dataSource; sharedDatabase.setName("my_db"); // 这个名称必须和转换中使用的连接名称一致 sharedDatabase.setDatabaseType(...); // 根据URL判断数据库类型 sharedDatabase.setHostname(...); // 从URL中解析 // ... 设置其他属性 } // 将共享连接放入共享对象中 transMeta.addOrReplaceDatabase(sharedDatabase); // 或者使用共享数据库连接的方式： // 在转换中，我们可以使用共享数据库连接。在运行时，我们可以覆盖共享连接。 // 然后执行转换 trans.execute(null); trans.waitUntilFinished(); } } ``` 步骤4：当数据源刷新后，后续执行的Kettle作业/转换就会使用新的数据源（因为每次执行runTransformation时，我们都会从刷新的dataSource中提取最新的连接信息来创建DatabaseMeta对象）。 注意事项： - 这种方法在每次执行转换时都会重新创建DatabaseMeta对象，所以会使用最新的数据源配置。 - 但是，从数据源中提取连接信息（URL、用户名、密码）可能比较麻烦，因为不同的连接池实现有不同的获取方式。 - 另外，如果转换中使用了多个数据库连接，则需要分别处理。 总结：动态刷新Kettle的JNDI数据源配置在Spring Boot中较为复杂，建议绕过JNDI，使用Spring管理的可刷新数据源，并在每次执行Kettle作业/转换时动态设置数据库连接信息。 相关问题： 根据用户的问题，生成相关问题： 1. 在Spring Boot中如何配置Tomcat JNDI数据源？ 2. 如何利用Spring Cloud Config实现数据源的动态刷新？ 3. Kettle中如何使用Spring管理的DataSource？ 4. 如何从HikariDataSource中获取数据库连接信息（URL、用户名、密码）？ 5. 在Kettle转换中如何使用共享数据库连接？ 注意：用户的问题是关于动态刷新Kettle的JNDI DataSource配置，我们提出的方案实际上避开了JNDI，而是使用了Spring直接管理的数据源。如果用户坚持使用JNDI，那么可能需要重启应用上下文或者重新部署应用，这不是动态刷新。 因此，我们回答的重点是替代方案。 </think> ### 在Spring Boot中动态刷新Kettle的JNDI DataSource配置的方法 在Spring Boot中动态刷新Kettle的JNDI DataSource配置，关键在于结合Spring的配置刷新机制和Kettle的资源管理。以下是具体实现步骤： --- #### 1. **配置可刷新的JNDI数据源（Spring Boot层）** ```java @Configuration public class JndiDataSourceConfig { @Bean @RefreshScope // 启用配置刷新 public DataSource jndiDataSource( @Value("${datasource.jndi-name}") String jndiName ) throws NamingException { JndiDataSourceLookup lookup = new JndiDataSourceLookup(); lookup.setResourceRef(true); return lookup.getDataSource(jndiName); } } ``` **说明**： - 使用`@RefreshScope`注解使数据源支持动态刷新 - 通过`JndiDataSourceLookup`获取JNDI数据源[^1] - 在`application.yml`中配置JNDI名称： ```yaml datasource: jndi-name: "java:comp/env/jdbc/kettle_ds" ``` --- #### 2. **动态更新Kettle数据源（Kettle集成层）** ```java @Service public class KettleDataSourceRefresher { @Autowired private DataSource jndiDataSource; public void refreshKettleConnection(String connectionName) throws KettleException { // 1. 获取新的数据源连接 try (Connection conn = jndiDataSource.getConnection()) { DatabaseMeta dbMeta = new DatabaseMeta( connectionName, "Oracle", // 数据库类型 "Native", conn.getMetaData().getURL(), conn.getMetaData().getUserName(), "", // 密码留空（JNDI已管理） "", "" ); // 2. 更新Kettle元数据仓库 dbMeta.shareVariablesWith(null); if (KettleEnvironment.isInitialized()) { DatabaseMeta.removeLocalDatabase(dbMeta); dbMeta.saveSharedObjects(); } // 3. 重载作业/转换使用的连接 KettleClientEnvironment.getInstance().getExecutions() .forEach(exec -> exec.getTrans().redoAll(connectionName)); } } } ``` --- #### 3. **触发刷新机制** ```java @RestController public class RefreshController { @Autowired private KettleDataSourceRefresher refresher; // 通过Actuator端点触发刷新 @PostMapping("/refresh-ds") public void refresh(@RequestParam String connName) { SpringApplication.run(Application.class) .getBean(RefreshScope.class).refresh("jndiDataSource"); refresher.refreshKettleConnection(connName); } } ``` --- #### 4. **完整工作流程** 1. **配置变更**：修改数据源参数（如URL/账号） 2. **触发刷新**：调用`/refresh-ds?connName=kettle_conn` 3. **Spring响应**： - 刷新`@RefreshScope`数据源Bean - 重建JNDI连接池[^1] 4. **Kettle更新**： - 更新`DatabaseMeta`元数据 - 重载内存中的转换/作业配置 - 新任务使用更新后的连接 --- #### 关键注意事项 1. **Kettle元数据同步** 需确保更新后的`DatabaseMeta`对象通过`saveSharedObjects()`同步到Kettle元数据库 2. **连接池管理** 建议使用`spring.datasource.tomcat.testOnBorrow=true`验证连接有效性 3. **增量更新支持** 可结合Redis记录配置版本号，实现增量更新[^3]： ```java redisTemplate.opsForValue().set("DS_VERSION", newVersion); ``` 4. **事务处理** 刷新操作需等待当前运行的Kettle作业完成后再执行： ```java if(KettleEnvironment.getLastTrans() != null) { KettleEnvironment.getLastTrans().waitUntilFinished(); } ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值