kettle安装设置

最新推荐文章于 2025-07-13 16:45:29 发布

二两芝麻

最新推荐文章于 2025-07-13 16:45:29 发布

阅读量553

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库

本文链接：https://blog.youkuaiyun.com/qq_22994783/article/details/81702193

数据仓库专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了在Linux环境下安装Kettle基础包、JAVA环境和unrar，然后通过apt-get安装PostgreSQL，创建数据库用于Kettle的Repository。在解决多人并发访问导致的锁表问题后，配置pg_hba.conf和postgresql.conf文件，允许指定IP访问，并测试了Kettle连接Repository的正确性。

安装基础包, 及JAVA环境
apt-get install libwebkitgtk-1.0.0
apt-get install openjdk-8-jre-headless
安装unrar解压缩
apt-get install unrar

上传kettle软件 (后续有新版本可以更新)
路径: O:\系统支持组\DBA组\pdi-ce7.0.rar

unrar x pdi-ce7.0.rar
mv data-integration /opt/kettle7.0

配置Repository数据库
Repository支持多种关系型数据库, 但之前的使用, 如使用MySQL会存在锁表问题, 如有多人同时查看同一个ETL JOB/TRANSFORMATION, 会被锁, 影响使用.
后改为在JOB服务器本机安装postgresql.

安装并创建repository数据库
apt-get install postgresql
su – postgres
postgres=# CREATE USER etl_rep WITH PASSWORD ‘password’;
postgres=# create database etl_rep owner etl_rep;
postgres=# \q

添加权限并使权限生效
cd /etc/postgresql/9.5/main
vi pg_hba.conf
添加
#10.168.2.99是本机ip, 让job服务器可以连接
host etl_rep etl_rep 10.168.2.99/32 md5
10.1.42.3 是开发者机器ip, 让开发者可以连接
host etl_rep etl_rep 10.1.42.3/32 md5

export PATH="$PATH":/usr/lib/postgresql/9.5/bin/
export PGDATA=/var/lib/postgresql/9.5/main
pg_ctl reload

cd /etc/postgresql/9.5/main
vi postgresql.conf
修改监听ip
listen_addresses = ‘10.168.2.99’
pg_ctl restart
运行本地的kettle程序, 打开右上角Connect下面的Repository Manager

默认密码admin登录.
打开本地的repositories.xml配置文件
路径为D:\Users\yuanyong_dba.kettle
其中有两段:

属于本次配置, COPY到以下内容中:

<?xml version="1.0" encoding="UTF-8"?> etl_repository 10.168.2.99 POSTGRESQL Native etl_rep 5432 etl_rep Encrypted 2be98afc86aa7f2e4cb1cba7ce180aaca FORCE_IDENTIFIERS_TO_LOWERCASEN FORCE_IDENTIFIERS_TO_UPPERCASEN IS_CLUSTEREDN PORT_NUMBER5432 PRESERVE_RESERVED_WORD_CASEY QUOTE_ALL_FIELDSN SUPPORTS_BOOLEAN_DATA_TYPEY SUPPORTS_TIMESTAMP_DATA_TYPEY USE_POOLINGN KettleDatabaseRepository etl_repository Database repository false etl_repository

在服务器上创建/root/.kettle/repositories.xml文件, 将以上内容copy到文件中.

做一个简单的测试, 在客户端建一个简单的transformation: T_STG_TEST_YY
/opt/kettle7.0/pan.sh /rep:etl_repository /user:admin /pass:admin /trans:T_STG_TEST_YY /dir: /norep:N
正常运行没有报错, 则表示配置成功.