kettle报错，没有权限向hdfs写文件

最新推荐文章于 2023-04-18 16:45:36 发布
原创 最新推荐文章于 2023-04-18 16:45:36 发布 · 1.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs

本文介绍了两种解决Hadoop文件系统权限异常的方法。一种是在Spoon.bat文件中添加环境变量设置，另一种是通过hdfs dfs chmod命令修改文件权限。这两种方案旨在帮助用户克服无法创建文件的FileSystemException。

Caused by: org.apache.commons.vfs2.FileSystemException: Could not create file
在这里插入图片描述

第一种方式：
编辑Spoon.bat文件,在119行添加如下：
“-DHADOOP_USER_NAME=xxx” “-Dfile-encoding=UTF-8”
注：xxx为自己的用户名

第二种方式：
hdfs dfs -chmod 777 /

CDH环境HDFS权限问题
L, there!
07-30 8168
CDH环境下Hadoop平台最高权限用户是hdfs，属于supergroup组。默认HDFS会开启权限认证，所以操作时，需要将root用户切换到hdfs用户，否则会报错。 目录 设置 验证 如 启动spark-shell 切换hdfs用户 这样每次操作都需要切换不太方便，如yarn在调度时，通常会生成一些临时文件，执行完毕会删除，如果权限不够会导致出错。H...
海豚调用kettle任务报错，提示Unable to get VFS File object for filename ‘plugins‘。
weixin_43025027的博客
04-01 2519
配置内容如下： 运行任务报错：Unable to list jar files in plugin folder ‘plugins’ Unable to get VFS File object for filename ‘plugins’ : Could not find file with URI “/opt/module/data-integration/plugins” because it is a relative path, and no base URI was provided. Cou
kettle-linux环境单机版部署并测试执行
lisery的博客
07-12 5920
1.linux环境下jdk部署linux环境新建存放安装包的路径:[root@lx01 ~]# mkdir -p /opt/cm/hadoop 上传jdk的压缩包至该路径：解压压缩包:[root@lx01 hadoop]# ll 总用量 181192 -rw-r--r--. 1 root root 185540433 7月 12 11:23 jdk-8u131-linux-x64.tar.gz...
kettle写入HDFS文件错误
github_39319229的博客
08-05 2603
kettle写入HDFS文件错误 Hadoop file output.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : Unexpected error Hadoop file output.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : org.
Kettle 导出Excel 报 org.apache.commons.vfs.FileSystemException
coderWang
07-09 2729
kettle 表查询之后Microsoft Excel 输出报错org.apache.commons.vfs.FileSystemException: File closed. 问题解决 我的kettle版本 把JDK换成1.7可以解决 Kettle的JDK版本设置方式https://blog.youkuaiyun.com/qazzwx/article/details/103815921 ...
kettle与大数据组件（hdfs、hive、hbase）的连接
Gettle的博客
05-17 1979
准备工作： 涉及大数据组件：hadoop、zookeeper、hive、hbase 启动hadoop集群：start-all.sh 启动zookeeper：shbin/zkServer.shstart 启动hbase：bin/start-hbase.sh 启动hiveserver2：bin/hiveserver2 进入beeline查看端口开启情况：bin/beeline beeline>!connectjdbc:hive2://node1:10000（账号密码直接回车就行） ...
使用kettle从HDFS上 下载、上传文件
xxydzyr的博客
10-08 1014
使用kettle从HDFS上 下载、上传文件 文章目录使用kettle从HDFS上 下载、上传文件1. 从核心对象中找到Big data，拉出 Hadoop file input 步骤，然后输入相关信息。2. 将结果输出到excel中。上传1. 拉出一个excel 输入，和一个 Hadoop file output ，连接起来。然后修改两者。2. 上传报错，发现是没有权限。3. 最终结果 下载 1...
Kettle 权限问题
KoHsin_的博客
03-24 2335
Kettle Permission denied 1.问题场景：在windows系统中，执行一段转换操作，从MySQL表中将数据抽取到HDFS文件中，使用Parquet output输出文件，进行转换时报以下错 Parquet output.0-Cause by.org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):Permission denied:user=kohsin.
Kettle集成CDH 6.1时Hadoop File Output组件浏览目录报错NoClassDefFound
07-08
资源下载链接为： ...最近我开始接触并尝试使用Kettle进行数据处理。搭建Kettle环境本身并不复杂，主要就是下载安装包并解压。然而，在配置外部数据源，尤其是与HDFS进行交互时，却...当前用户在HDFS上没有足够的权限。
kettle输出数据到hadoop 的hdfs 系统，错误总结
星月情缘的博客
10-16 6633
         最近自己在练习使用kettle时，想把MySQL中的数据同步到Hadoop中，就测试了一下，到最后发现怎么也连接不上hadoop集群，好不容易连接上了，结果文件又无法写入到指定的目录中，一直提示权限不够，很郁闷啊。最后终于解决了，分享一下心得。        1. kettle 安装在此不讲述，本文是以kettle 和Hadoop环境都已经部署好了，可以正常使用的环境。   ...
关于HDFS创建文件夹失败
qq_42130990的博客
04-26 5444
关于HDFS创建文件夹失败hadoop fs -mkdir /wc报错查看命令手册 hadoop fs -mkdir /wc报错 进入虚拟机后首先输入命令：start-dfs.sh 开启Namenode和DataNode（可以用jps命令查看是否开启成功如图：） 正常情况下命令：hdoop fs -mkdir /wc(当前路径下创建wc文件夹）回车执行即可创建。 我现在报了一个错误：mkdir :...
kettle采用Hadoop Copy Files出现权限不足的问题
03-20 5684
kettle设计如下： 测试例子说明： SQL控件，是直接连接HIVE环境，truncate table table； Hadoop Copy Files 是拷贝ETL服务器一个文件到对应的hadoop目录下，也就是HIVE表所在的表目录 Hadoop Copy Files 设置如下： 执行job，提示权限不足：
Java程序向Hadoop HDFS写文件失败
青锋的博客
09-17 1220
对于刚刚学习大数据的同学来说，总会遇到各种各样的问题，并且网上的回答也是模模糊糊，看起来头痛不已，不过学习本来就是解决各种问题的过程，希望小伙伴们互相共勉，加油吧。 以下是我在用java程序向Hadoop的HDFS写文件的时候遇到的异常： org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /testing/file01...
kettle 运行Spoon.bat时，显示错误Could not create the java virtual machine.
热门推荐
m0_59332278的博客
04-18 1万+
发现了两个文件夹，由于自己解压时创建了相同名字文件夹，并且将解压的文件放在了相同名字文件夹里，导致运行spoon.bat时出现Could not create the java virtual machine , A fatal exception has occured.Program will exit.错误原因：并非运行内存不足和jdk版本问题，通过查询SpoonConsole.bat得知。其他错误尝试：当把文件在移出同名文件到D盘，且删除同名文件，在D盘中运行则继续出现错误。
vsftp上传文件出现553 Could not create file解决方法
12-12 1592
点击打开链接
导入中文包时出错（could not create cofile）
09-25 310
纯属自己摸索着玩,SAP 还没入门,有错误,各位老大请指正啊..[@more@]打补丁步骤client 000ddic 进入STMS （启动传输服务）rz10定义import profilerestart sapSMTLClas...
kettle 连接Hadoop 遇错
anshenwa4859的博客
07-29 1110
kettle从windows中往hdfs中写文件 One 2016/07/19 14:14:53 - Spoon - 正在开始任务... 2016/07/19 14:14:53 - load_hdfs - 开始执行任务 2016/07/19 14:14:53 - load_hdfs - 开始项[Hadoop Copy Files] 2016/07/19 14:14:53...
kettle连接cdh——读取hdfs中的数据
archer的技术故事
12-03 4740
目前pentaho——kettle已经到了8.1的版本了，本文主要介绍如何利用kettle进行大数据处理。 好，下面上货。 1、下载shims，简单的说这个shim可以理解成针对不同cdh的版本的插件，具体下载地址在这里： 我用的是cdh510. https://sourceforge.net/projects/pentaho/files/Pentaho%208.1/   在下载的时候...
SpringBoot调用Kettle常见错误
小语一天
05-06 6986
场景：通过kettle工具制作表->文件导出的转换作业，由SpringBoot程序调用该产生的ktr文件 错误：无法生成导出的文件 Could not find file with URI "..." because it is a relative path, and no base URI was provided. ___ ___ ______ ...
打开kettle报错
最新发布
07-09
### 错误分析 Kettle 在打开时提示 `Driver class 'org.gjt.mm.mysql.Driver' could not be found` 的错误，通常与 MySQL 数据库驱动的配置问题有关。此类问题可能涉及以下几种原因： 1. **缺少 MySQL JDBC 驱动包**：如果 Kettle 无法找到 `mysql-connector-java-x.x.x.jar` 文件，则会报错。 2. **驱动版本不兼容**：使用的 MySQL 驱动版本可能与数据库的实际版本不匹配，例如使用了适用于 MySQL 8.x 的驱动去连接 MySQL 5.x 版本。 3. **驱动路径未正确放置**：MySQL 驱动包未被正确复制到 Kettle 的依赖目录中（通常是 `data-integration/lib`）。 ### 解决方法 #### 确保驱动文件存在并正确放置 需要从 MySQL 官方网站下载对应版本的 JDBC 驱动程序，并将 `.jar` 文件复制到 Kettle 的 `lib` 目录下。例如，如果连接的是 MySQL 5.x，则建议使用 `mysql-connector-java-5.x` 的驱动包；如果是 MySQL 8.x，则应选择对应的 8.x 版本驱动[^1]。 #### 检查驱动类名是否正确 在早期版本的 Kettle 中，默认的 MySQL 驱动类名为 `org.gjt.mm.mysql.Driver`，但较新版本的 MySQL 8.x 已经改用 `com.mysql.cj.jdbc.Driver`。因此，需要确保数据库连接配置中的驱动类名与实际使用的 JDBC 驱动一致。可以在 Kettle 的数据库连接设置中修改驱动类名称为正确的值[^2]。 #### 更新 Java 虚拟机环境 如果遇到 `Cannot create java virtual machine` 或者类似的 JVM 启动错误，可能是由于系统中安装的 Java 运行环境版本过低或者内存分配配置不合理。建议检查系统的 Java 版本，确保其至少为 Java 8 或更高，并调整 `spoon.bat`（Windows）或 `spoon.sh`（Linux/Mac）中的 JVM 参数，例如 `-Xmx` 和 `-Xms` 值以适应当前系统资源[^3]。 #### 示例代码片段：验证 JDBC 驱动加载 可以通过简单的 Java 代码测试驱动是否能够正确加载： ```java import java.sql.DriverManager; import java.sql.SQLException; public class TestMySQLJDBC { public static void main(String[] args) { try { // 根据使用的 MySQL 版本选择合适的驱动类名 Class.forName("com.mysql.cj.jdbc.Driver"); System.out.println("MySQL JDBC Driver loaded successfully."); } catch (ClassNotFoundException e) { System.err.println("MySQL JDBC Driver not found!"); } } } ``` ### 总结 解决该问题的关键在于确认驱动是否存在、路径是否正确以及驱动类名和版本是否匹配。此外，Java 环境的配置也可能影响 Kettle 的正常运行，因此需要一并检查。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值