kettle报错，没有权限向hdfs写文件

最新推荐文章于 2023-04-18 16:45:36 发布
原创 最新推荐文章于 2023-04-18 16:45:36 发布 · 1.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs

本文介绍了两种解决Hadoop文件系统权限异常的方法。一种是在Spoon.bat文件中添加环境变量设置，另一种是通过hdfs dfs chmod命令修改文件权限。这两种方案旨在帮助用户克服无法创建文件的FileSystemException。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Caused by: org.apache.commons.vfs2.FileSystemException: Could not create file
在这里插入图片描述

第一种方式：
编辑Spoon.bat文件,在119行添加如下：
“-DHADOOP_USER_NAME=xxx” “-Dfile-encoding=UTF-8”
注：xxx为自己的用户名

第二种方式：
hdfs dfs -chmod 777 /

kettle输出数据到hadoop 的hdfs 系统，错误总结
星月情缘的博客
10-16 6596
         最近自己在练习使用kettle时，想把MySQL中的数据同步到Hadoop中，就测试了一下，到最后发现怎么也连接不上hadoop集群，好不容易连接上了，结果文件又无法写入到指定的目录中，一直提示权限不够，很郁闷啊。最后终于解决了，分享一下心得。        1. kettle 安装在此不讲述，本文是以kettle 和Hadoop环境都已经部署好了，可以正常使用的环境。   ...
CDH环境HDFS权限问题
L, there!
07-30 8127
CDH环境下Hadoop平台最高权限用户是hdfs，属于supergroup组。默认HDFS会开启权限认证，所以操作时，需要将root用户切换到hdfs用户，否则会报错。 目录 设置 验证 如 启动spark-shell 切换hdfs用户 这样每次操作都需要切换不太方便，如yarn在调度时，通常会生成一些临时文件，执行完毕会删除，如果权限不够会导致出错。H...
kettle写入HDFS文件错误
github_39319229的博客
08-05 2536
kettle写入HDFS文件错误 Hadoop file output.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : Unexpected error Hadoop file output.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : org.
Kettle 导出Excel 报 org.apache.commons.vfs.FileSystemException
coderWang
07-09 2684
kettle 表查询之后Microsoft Excel 输出报错org.apache.commons.vfs.FileSystemException: File closed. 问题解决 我的kettle版本 把JDK换成1.7可以解决 Kettle的JDK版本设置方式https://blog.youkuaiyun.com/qazzwx/article/details/103815921 ...
关于HDFS创建文件夹失败
qq_42130990的博客
04-26 5397
关于HDFS创建文件夹失败hadoop fs -mkdir /wc报错查看命令手册 hadoop fs -mkdir /wc报错 进入虚拟机后首先输入命令：start-dfs.sh 开启Namenode和DataNode（可以用jps命令查看是否开启成功如图：） 正常情况下命令：hdoop fs -mkdir /wc(当前路径下创建wc文件夹）回车执行即可创建。 我现在报了一个错误：mkdir :...
kettle与大数据组件（hdfs、hive、hbase）的连接
Gettle的博客
05-17 1930
准备工作： 涉及大数据组件：hadoop、zookeeper、hive、hbase 启动hadoop集群：start-all.sh 启动zookeeper：shbin/zkServer.shstart 启动hbase：bin/start-hbase.sh 启动hiveserver2：bin/hiveserver2 进入beeline查看端口开启情况：bin/beeline beeline>!connectjdbc:hive2://node1:10000（账号密码直接回车就行） ...
使用kettle从HDFS上 下载、上传文件
xxydzyr的博客
10-08 973
使用kettle从HDFS上 下载、上传文件 文章目录使用kettle从HDFS上 下载、上传文件1. 从核心对象中找到Big data，拉出 Hadoop file input 步骤，然后输入相关信息。2. 将结果输出到excel中。上传1. 拉出一个excel 输入，和一个 Hadoop file output ，连接起来。然后修改两者。2. 上传报错，发现是没有权限。3. 最终结果 下载 1...
Kettle 权限问题
KoHsin_的博客
03-24 2288
Kettle Permission denied 1.问题场景：在windows系统中，执行一段转换操作，从MySQL表中将数据抽取到HDFS文件中，使用Parquet output输出文件，进行转换时报以下错 Parquet output.0-Cause by.org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):Permission denied:user=kohsin.
Kettle集成CDH 6.1时Hadoop File Output组件浏览目录报错NoClassDefFound
07-08
资源下载链接为： ...最近我开始接触并尝试使用Kettle进行数据处理。搭建Kettle环境本身并不复杂，主要就是下载安装包并解压。然而，在配置外部数据源，尤其是与HDFS进行交互时，却...当前用户在HDFS上没有足够的权限。
kettle采用Hadoop Copy Files出现权限不足的问题
03-20 5659
kettle设计如下： 测试例子说明： SQL控件，是直接连接HIVE环境，truncate table table； Hadoop Copy Files 是拷贝ETL服务器一个文件到对应的hadoop目录下，也就是HIVE表所在的表目录 Hadoop Copy Files 设置如下： 执行job，提示权限不足：
kettle必须的包
02-11
Unable to get VFS File object for filename '' : Unknown scheme "sftp" in URI "{1}". 缺少jar包
Java程序向Hadoop HDFS写文件失败
青锋的博客
09-17 1196
对于刚刚学习大数据的同学来说，总会遇到各种各样的问题，并且网上的回答也是模模糊糊，看起来头痛不已，不过学习本来就是解决各种问题的过程，希望小伙伴们互相共勉，加油吧。 以下是我在用java程序向Hadoop的HDFS写文件的时候遇到的异常： org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /testing/file01...
kettle 运行Spoon.bat时，显示错误Could not create the java virtual machine.
热门推荐
m0_59332278的博客
04-18 1万+
发现了两个文件夹，由于自己解压时创建了相同名字文件夹，并且将解压的文件放在了相同名字文件夹里，导致运行spoon.bat时出现Could not create the java virtual machine , A fatal exception has occured.Program will exit.错误原因：并非运行内存不足和jdk版本问题，通过查询SpoonConsole.bat得知。其他错误尝试：当把文件在移出同名文件到D盘，且删除同名文件，在D盘中运行则继续出现错误。
vsftp上传文件出现553 Could not create file解决方法
12-12 1570
点击打开链接
导入中文包时出错（could not create cofile）
09-25 296
纯属自己摸索着玩,SAP 还没入门,有错误,各位老大请指正啊..[@more@]打补丁步骤client 000ddic 进入STMS （启动传输服务）rz10定义import profilerestart sapSMTLClas...
kettle 连接Hadoop 遇错
anshenwa4859的博客
07-29 1090
kettle从windows中往hdfs中写文件 One 2016/07/19 14:14:53 - Spoon - 正在开始任务... 2016/07/19 14:14:53 - load_hdfs - 开始执行任务 2016/07/19 14:14:53 - load_hdfs - 开始项[Hadoop Copy Files] 2016/07/19 14:14:53...
kettle连接cdh——读取hdfs中的数据
archer的技术故事
12-03 4558
目前pentaho——kettle已经到了8.1的版本了，本文主要介绍如何利用kettle进行大数据处理。 好，下面上货。 1、下载shims，简单的说这个shim可以理解成针对不同cdh的版本的插件，具体下载地址在这里： 我用的是cdh510. https://sourceforge.net/projects/pentaho/files/Pentaho%208.1/   在下载的时候...
SpringBoot调用Kettle常见错误
小语一天
05-06 6891
场景：通过kettle工具制作表->文件导出的转换作业，由SpringBoot程序调用该产生的ktr文件 错误：无法生成导出的文件 Could not find file with URI "..." because it is a relative path, and no base URI was provided. ___ ___ ______ ...
kettle用户管理
m0_37841468的博客
03-26 1119
资源库创建后默认有2个用户admin 和guest。 资源库中对应得表为R_USER 使用admin账户登陆ketttle,点工具----》探索资源库-------》安全设置你要添加得用户即可。 查询资源库中对应得用户表
\Kettle\ADDITIONAL-FILES 文件的作用
最新发布
07-10
<think>嗯，用户询问的是Kettle中ADDITIONAL-FILES文件的作用和用途。这是一个比较专业的技术问题，需要结合Kettle与大数据集成的背景来回答。 用户可能正在处理Hadoop或Spark相关的数据集成任务，遇到了需要传递额外配置文件的情况。从问题表述看，用户对Kettle有一定基础了解，但可能刚接触与Hadoop生态的集成。 查阅技术文档发现，ADDITIONAL-FILES主要解决分布式计算环境中的依赖问题。当Kettle提交作业到Hadoop集群时，需要确保集群配置信息能被正确读取。这里有几个关键点需要说明： 1）配置文件传递机制：传统单机环境直接读取本地配置，但分布式任务需要在集群所有节点访问相同配置 2）Hadoop生态特性：core-site.xml等文件包含集群认证信息和访问端点 3）安全考量：特别是Kerberos认证场景，krb5.conf必须全局可用 注意到引用[4][5]提到需要复制*-site.xml文件，这正好印证了ADDITIONAL-FILES的典型使用场景。用户如果配置过Hadoop连接，应该见过相关提示。 考虑到用户可能下一步会实际操作，准备在回答中补充两个典型示例：一个是CDH集群的XML配置案例，另一个是Spark作业的依赖JAR包案例。这样既能解释原理，又能帮助用户落地实施。 需要特别提醒权限问题，因为Linux环境下文件权限配置不当容易引发"Could not find file"错误（引用[3]的报错正是典型例子）。计划在最后补充这个实用提示，避免用户踩坑。</think>Kettle 中的 `ADDITIONAL-FILES` 文件是一个**配置文件或配置项**，其主要作用是**指定在运行 Hadoop 或 Spark 相关作业时需要额外分发到集群所有节点上的文件**。这些文件对于作业在分布式环境中的正确执行至关重要。 其核心作用和用途如下： 1. **传递关键配置文件 (核心用途)**： * Hadoop 集群及其组件（如 HDFS, YARN, Hive, HBase, Spark, ZooKeeper 等）通常依赖 XML 配置文件（如 `core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`, `hive-site.xml`, `mapred-site.xml`, `hbase-site.xml`, `spark-defaults.conf` 等）来定义集群的地址、端口、安全设置、资源管理参数等。 * 当 Kettle 通过 MapReduce 或 Spark 步骤（如 Pentaho MapReduce, Spark Submit）向 Hadoop 集群提交作业时，作业的执行器（如 YARN Application Master、Spark Executor）可能运行在集群的**任意节点**上。 * 为了让这些执行器能够**正确连接和操作集群资源**，它们**必须能访问这些配置文件**。`ADDITIONAL-FILES` 就是用来告诉 Kettle 引擎：**“请把这些指定的配置文件打包，并随作业一起分发到集群运行该作业的所有节点上去”**。这确保了作业在集群的任何地方都能找到正确的集群配置[^4][^5]。 2. **分发 Kerberos 安全认证文件**： * 如果 Hadoop 集群启用了 Kerberos 安全认证，作业需要访问 `krb5.conf` 文件（Kerberos 配置）和相应的 `keytab` 文件（包含服务主体凭证）才能进行身份验证。 * `ADDITIONAL-FILES` 可以用于指定这些文件，确保它们被分发到执行作业的节点，使作业能够成功通过 Kerberos 认证[^4]。 3. **分发作业依赖的 JAR 包或库文件**： * 有时，自定义的 MapReduce 程序、UDF（用户自定义函数）、Spark 应用程序或其他组件可能需要特定的 JAR 包或本地库（`.so`, `.dll` 文件）。 * `ADDITIONAL-FILES` 可以包含这些依赖项的路径，确保它们被分发到集群节点，使作业运行时能找到所需的类或库。 4. **分发其他辅助数据文件**： * 虽然不常见，但如果作业逻辑需要访问一些小的、静态的参考数据文件（如字典文件、配置文件等），也可以使用 `ADDITIONAL-FILES` 来分发它们。 **总结关键点**： * **目的**：解决分布式计算环境下作业执行节点**缺乏必要配置或依赖文件**的问题。 * **场景**：主要在 Kettle 向 Hadoop/YARN/Spark 集群提交分布式作业（MapReduce, Spark）时使用。 * **内容**：通常是 Hadoop/Spark 组件的 XML 配置文件、Kerberos 认证文件、作业依赖的 JAR 包/库文件。 * **机制**：Kettle 在提交作业时，会将 `ADDITIONAL-FILES` 指定的文件**打包上传到 HDFS 的一个临时位置**，并在作业配置中设置这些文件的 HDFS 路径。Hadoop/YARN/Spark 框架在启动作业的容器（Container/Executor）时，会**自动将这些文件从 HDFS 下载到容器的本地工作目录**，使得作业代码能够访问它们。 * **必要性**：对于需要连接安全或特定配置的集群，**正确配置 `ADDITIONAL-FILES` 通常是作业成功运行的前提条件**。如果缺少必要的配置文件（如 `core-site.xml`），作业很可能因无法找到 NameNode 或无法通过认证而失败[^4][^5]。 **如何配置 (一般位置)**： `ADDITIONAL-FILES` 的配置位置取决于具体的 Kettle 步骤或连接设置： 1. **Hadoop Cluster 配置**：在配置 Kettle 的 Hadoop Cluster 连接时（通常在 `pentaho-shim` 的配置界面或 Kettle 的 Hadoop Cluster 对话框中），会有一个专门的字段或区域用于指定 `Additional Files` 或 `Cluster Files`。这是最常见和推荐的地方，配置一次，所有使用该集群连接的作业都会生效。 2. **特定作业步骤配置**：某些 MapReduce 或 Spark 步骤（如 “Pentaho MapReduce” 或 “Spark Submit”）的设置选项卡中，也可能有 `Additional Files` 或类似名称的输入框，允许为该特定步骤覆盖或添加额外的文件。 **示例配置内容**： 在配置框中，通常需要提供**本地文件系统上的文件路径**（绝对路径或相对于 Kettle 主目录的路径），多个文件用逗号 `,` 或分号 `;` 分隔，例如： ``` /etc/hadoop/conf/core-site.xml, /etc/hadoop/conf/hdfs-site.xml, /etc/hadoop/conf/yarn-site.xml, /etc/hadoop/conf/mapred-site.xml, /etc/krb5.conf, /path/to/service.keytab, /path/to/custom-library.jar ``` **重要提示**： * 确保 Kettle 运行用户（无论是桌面启动还是 Carte 服务）有权限读取这些指定的本地文件。 * 在 Linux 环境下，路径分隔符是 `/`，并且要注意文件权限问题（避免出现类似引用[3]中的路径访问错误）。 * 分发大量或大文件可能会影响作业启动性能，应尽量只包含必要的文件。 **相关问题**： 1. Kettle 连接 CDH 或 HDP 等 Hadoop 集群时，通常需要将哪些核心的 `*-site.xml` 文件添加到 `ADDITIONAL-FILES` 中？[^4][^5] 2. 在 Kerberos 认证环境下，除了 `krb5.conf` 和 `keytab` 文件，配置 `ADDITIONAL-FILES` 还需要注意哪些安全相关的设置？ 3. 如果在 Kettle 提交 Spark 作业时遇到 `ClassNotFoundException`，如何利用 `ADDITIONAL-FILES` 或 `LIBRARIES/JARS` 配置来解决依赖问题？ 4. `ADDITIONAL-FILES` 中指定的文件是如何被传输到 Hadoop 集群节点上的？它们最终位于执行容器的哪个目录下？ 5. 配置 `ADDITIONAL-FILES` 后 Kettle 作业仍然无法连接集群（如找不到 NameNode），可能有哪些排查步骤？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值