kettle链接hive的环境配置

最新推荐文章于 2023-08-17 15:00:08 发布

原创最新推荐文章于 2023-08-17 15:00:08 发布 · 1.4w 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#hive #kettle #hadoop

hive 同时被 3 个专栏收录

4 篇文章

订阅专栏

kettle

1 篇文章

订阅专栏

hadoop

1 篇文章

订阅专栏

本文介绍了如何配置kettle以连接到hive，包括将hive库导入kettle指定目录，编辑core-site.xml、hive-site.xml、mapred-site.xml和yarn-site.xml文件，以及在plugin.properties中设置active.hadoop.configuration。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kettle链接hive

1）首先将hive/lib目录的包导入到kettle目录D:\software\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510\lib下（找到你安装的目录）

2）找到D:\software\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510目录

文件core-site.xml 添加内容：

<configuration>

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://bigData01:9000</value>

</property>

<property>

    <name>hadoop.tmp.dir</name>

    <value>/opt/modules/hadoop-2.6.0-cdh5.13.0/data</value>

</property>

</configuration>

文件hive-site.xml 添加内容：

<property>

    <name>hive.metastore.local</name>

    <value>false</value>

</property>

<property>

    <name>hive.metastore.uris</name>

    <value>thrift://ip地址:9083</value>

</property>

<property>

    <name>hive.exec.reducers.bytes.per.reducer</name>

    <value>1073741824</value>

</property>

<property>

    <name>hive.support.concurrency</name>

    <value>true</value>

</property>

<property>

    <name>hive.server2.thrift.port</name>
    
    <value>10000</value>

</property>

<property>

    <name>hive.server2.thrift.min.worker.threads</name>

    <value>5</value>

</property>

<property>

    <name>hive.server2.thrift.max.worker.threads</name>

    <value>500</value>

</property>

<property>

    <name>hive.jdbc_passwd.auth.zjl</name>

    <value>123456</value>

<description/>

</property>

文件mapred-site.xml添加如下

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

文件yarn-site.xml添加内容：

<property>

            <name>yarn.nodemanager.aux-services</name>

           <value>mapreduce_shuffle</value>

</property>

3）找到D:\software\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510目录

将cdh510配置在D:\software\data-integration\plugins\pentaho-big-data-plugin目录下的plugin.properties文件

添加内容：active.hadoop.configuration=cdh510