Kettle（Pentaho DataIntegration）实现Hadoop-2.2.0 文件复制

最新推荐文章于 2024-06-02 17:10:15 发布

最新推荐文章于 2024-06-02 17:10:15 发布 · 227 阅读

文章标签：

#大数据

本文介绍如何安装Hadoop2.20插件，并通过Kettle作业实现文件复制到Hadoop集群的过程。具体步骤包括创建作业、配置Hadoop复制组件及测试验证。

这个实例很简单，难点在于你的Hadoop2.20插件的安装（我的上一篇博文）。实现的步骤如下：

1. 创建job

创建一个Kettle的job，实现如下效果。

2. 配置Hadoop复制文件

配置hadoop Copy Files组件，实现如下效果：

3. 测试

点击运行按钮，得到的效果如下所示，说明你的配置成功了。

转载，请写明出处：http://blog.youkuaiyun.com/greatelite/article/details/18676281

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

iteye_3759

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

精选资源

pentaho-hadoop-shims-cdh61-kar-9.1.2020.09.00-324.kar

09-27

kettle 9.1 连接hadoop clusters (CDH 6.2) 驱动

精选资源

（Hive输出）pentaho-big-data-kettle-plugins-hive-6.1.0.1-196

07-24

（Hive输出）ETLDesigner\common\system\karaf\system\pentaho\pentaho-big-data-kettle-plugins-hive\6.1.0.1-196\下的文件。（Hive输出）pentaho-big-data-kettle-plugins-hive-6.1.0.1-196。

参与评论您还未登录，请先登录后发表或查看评论

kettle采用Hadoop Copy Files出现权限不足的问题

03-20

5675

kettle设计如下：测试例子说明： SQL控件，是直接连接HIVE环境，truncate table table； Hadoop Copy Files 是拷贝ETL服务器一个文件到对应的hadoop目录下，也就是HIVE表所在的表目录 Hadoop Copy Files 设置如下：执行job，提示权限不足：

Kettle使用_15 文件操作复制文件到结果

数据科学汇集

01-21

4524

Kettle使用_15 文件操作复制文件到结果需求: 通过Kettle的组件实现文件夹下所有文件的复制到另外个文件夹。解决方法：结合获取文件名、复制文件名到结果、执行作业、添加到结果文件列表、复制/移动结果文件组件解决。 Step1: 新建个转换。 Step2: 拖个获取文件名到转换里，该组件位于转换的输入分类下。 Step3：配置获取文件名组件： Step4：拖动个复制文件名到结果组件，并通过SHIFT...

linux kettle hadoop copy file 有时无法保存数据问题

YrI/OG

04-27

1173

通过脚本启动kettle的job时，会出现有时hadoop copy file 没有启动或运行的情况，其实这都是kettle自带的缓存问题，windows下不会出现这种情况，但linux下会导致一些时候没有启动hadoop copy file操作可以采用如下方式编写脚本将kettle里的缓存文件夹删除即可...

pentaho data integration连接hadoop2.2.0

刘光华的专栏

12-25

2249

pdi即kettle，支持hadoop的操作，但是默认支持的是hadoop0.2.0。但是由于我目前所用的是hadoop2.2.0，主要想用pdi来控制hadoop的作业调度。经过几天痛苦的试探过程，目前能够初步实现这个功能。经本人测试，按照下面修改之后，可以使用transformation中Big Data组件中的Hadoop File Input和Hadoop File Ou

kettle实现hadoop文件操作

03-05

8522

Kettle默认版本只支持0.20.0的版本如果要支持，2.2版本，要进行插件升级 1.1复制文件到hadoop系统场景描述：从本地环境（window）复制txt文件到10.204.104.193的hadoop环境，放到/user/hadoop/input目录下 1.1.1 环境及元数据描述 2013-11-14 Kettel版本信息：pdi-ce-4.4.0-stable C:

精选资源

Kettle（Pentaho Data Integration）教程 pdf

最新发布

11-03

Kettle（Pentaho Data Integration，PDI）是一款开源的ETL（Extract, Transform, Load）工具，它提供了一种图形化的方法来设计数据的抽取、转换和加载流程。由Matt Casters创建，并于2004年首次发布，2009年被...

Kettle9.4版本 Pentaho Data Integration 9.4 PDI 9.4

10-26

Kettle 改名啦！！！现在叫 Pentaho Data Integration Kettle9.4版本 Pentaho Data Integration 9.4 PDI 9.4 下载地址： ...

Pentaho-Data-Integration-完全自学手册.2016.12.11

06-19

- Pentaho Data Integration（Kettle）是一款功能强大的开源ETL工具，通过其核心组件Spoon和Data Integration Server，以及Jobs和Transformations的概念，可以轻松实现复杂的数据处理流程。掌握Kettle的关键在于理解...

kettle数据迁移操作文档

09-09

kettle数据迁移操作文档

KETTLE远程执行

02-20

kettle 远程执行，使用carte.bat，建立子服务器，并在本地使用命令行的方式调用

Kettle对Hadoop作业笔记

little white miao's blog

01-10

225

先创建作业再选转换 Hadoop: Hadoop file input →Excel/txt/... Excel/txt/...→Hadoop file out Hive: 表输出→Excel输出(获取字段)(admin用户权限问题)[新建(hive2)→获取sql语句] Excel输入→表输出 Hadoop copy Files可以将本地文件上传到HDFS，也可以向Hive导入数据: start(在通用里)→Hadoop copy Files 执行Hive...

KETTLE 能够使用Hadoop file input，而output失败

weixin_67299453的博客

06-02

250

报错里用的user=Ñî，我以为是用户设置没有生效，用的不知道哪来的这个用户，但我发现，前面的日志里有写我用的哪个用户，我用的是root，在shell里输入这个，然后就可以了，我用的final shell。我的是建立对应目录后，input可以用，output失败。我是因为权限问题导致的写入失败。我最后是改了那个目录的权限。

Kettle使用_14 文件操作复制移动删除结合JS

数据科学汇集

01-20

3215

Kettle使用_14 文件操作复制移动删除结合JS 需求: 通过Kettle的组件实现文件夹下所有文件的复制和重命名。比如：将文件名1快乐成语001【持之以恒】.mp3 重命名为001持之以恒.mp3 解决方法：结合获取文件名、Javascript脚本和处理文件组件解决。注:同理我们可以对文件进行移动、删除操作,详见文末的补充部分。 Previous work: 准备数据（这里是5个mp3文件）。 Step1: 新建个转换。 ...

kettle利用Hadoop 导入hive库

weixin_42565178的博客

12-07

2091

上一篇文章中是根据表输入-&gt;表输出我们会发现如果数据量多的话，速度慢到让人吐血的地步。 kettle 作为一个 java 的开源 ETL 工具，支持的接入源与输出源很丰富，今天我们做table -&gt;hdfs -&gt;table数据的写入。文件 -&gt; 新建 - &gt; 转换 -&gt;主对象树 -&gt;Hadoop clusters -&gt;

KETTLE实现Hadoop文件数据抽取及输出（超详细，图文并茂）

06-21

4879

一、需求说明将源表（T_USER）中的用户信息同步到Hadoop中，然后再抽取Hadoop文件中数据到文本文件中。二、启动kettle 双击 Spoon.bat 就能启动 kettle 。三、创建转换 Hadoop集群配置说明首先需要从hadoop集群中（/../hadoop-3.1.2/etc/hadoop）复制core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml文件到shim文件夹中(..\data-integration\

hadoop api 复制文件_Hadoop发布新组件：分布式对象存储系统Ozone

weixin_39844942的博客

12-27

211

大数据/人工智能/区块链/数据库/分布式存储2020年9月，Ozone 1.0.0分布式对象存储系统在Apache Hadoop社区正式发布。据了解，经过2年多的社区持续开发和内部1000+节点的实际落地验证，Ozone 1.0.0已经具备了在大规模生产环境下实际部署的能力。我们知道，HDFS是Hadoop的分布式文件系统，但Ozone是什么？跟HDFS是什么关系？为什么...

kettle 含参hadoop数据导入，过滤

YrI/OG

08-03

502

kettle如果数据量过大在job的循环时，可能会出现程序崩溃问题，因此不采用变量传递方法去sql里不断查询数据不过kettle自带的过滤数据无法传入动态参数，因此这儿提供一种方法，将过滤数据导出方法将所有数据先查询出来，放到hadoop里，再通过 hadoop里的过滤操作，传入参数将符合的数据拿出来，最后的结果是经过过滤的数据...

Kettle（Pentaho Data Integration）完整安装教程与配置指南

资源摘要信息:"本文详细介绍了Kettle（Pentaho Data Integration，PDI）这款开源ETL工具的下载、安装及基础配置方法。Kettle支持数据抽取、转换和加载，适用于Windows、Linux和macOS操作系统。文档包括Kettle的功能...