spark读取hdfs的权限异常

最新推荐文章于 2023-06-09 12:18:38 发布
原创 最新推荐文章于 2023-06-09 12:18:38 发布 · 3.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在使用Spark连接HDFS时，由于本机用户名与服务器文件所属用户名不同，出现了权限被拒绝的异常。错误堆栈显示为AccessControlException。解决方法包括修改文件权限或所属用户，这里采用后者，在程序中通过设置HDFS用户名来避免权限问题。

hdfs本身是没有身份认证的，但是为了防止用户误操作，它也有类似linux的文件权限限制

我在IDE里开发程序连接hdfs因为本机名和服务器的文件所属用户名不同导致没有读取权限，错误异常堆栈如下：

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=shadow, access=EXECUTE, inode="/user/bduser/zongyh/hdfs_hive.csv":bduser:supergroup:drwx------
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:319)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkTraverse(FSPermissionChecker.java:259)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:205)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1728)
    at org.apache.hadoo

最低0.47元/天 解锁文章
HDFS 与 Spark 集成：大数据处理的性能优化
操作系统内核探秘的博客
09-24 687
随着数据量从TB级向PB级跨越，传统的集中式存储与计算架构已无法满足性能需求。HDFS作为分布式存储的事实标准，提供了高容错、高吞吐量的海量数据存储能力；而Spark则通过内存计算和DAG（有向无环图）调度，将批处理延迟从Hadoop MapReduce的分钟级降至秒级甚至毫秒级。二者的集成（Spark读取/写入HDFS数据）是大数据平台的核心场景，但集成过程中存在数据本地化不足、网络IO冗余、资源竞争等性能瓶颈。本文聚焦HDFS与Spark的集成架构、性能瓶颈分析及优化策略，覆盖从原理到实战的全流程。
Spark为什么读不了hdfs上的数据？如何解决？
**My Coding Family**
12-16 1063
🏆本文收录于专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家！持续更新中，up！up！up！！
SparkSql写hdfs报权限错误BUG解决
hechaoyong12345的博客
11-23 1084
今天在往hive中写数据时，使用的save方法直接把数据写入到hdfs目录，结果报错。 场景：在本地使用IDEA开发进行远程提交，把结果数据写入到HIVE。 写入的方法： df.write.mode(SaveMode.Append).save("hdfs://apps/hive/warehouse/info_test.db/result") 出现的错误： org.apache.hadoop.se...
Spark保存数据到HDFS报权限错误：Permission denied: user=hadoop, access=WRITE, inode=“/myhdfs/job“:root:super
m0_63246205的博客
06-09 744
当我在Spark处理好数据后，想保存到HDFS上后，发现IDEA报了Permission denied: user=hadoop, access=WRITE, inode="/myhdfs/job":root:super这个权限错误。一是重新切换到hadoop用户下，以hadoop用户身份重新新建一个目录，然后再保存到这个新建的。经排查，发现是我保存的路径是root用户下创建的，而我IDEA里面是hadoop用户。二是修改之前路径的权限，允许hadoop用户修改。
java api操作hdfs报错Exception in thread “main“ org.apache.hadoop.hdfs.BlockMissingException: Could not
qq_46005111的博客
08-04 1324
java api操作hdfs报错Exception in thread "main" org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
Spark读取不了本地文件&&Spark默认读取HDFS文件系统
Solar's Blog
01-23 7047
问题描述 In [10]: inputFile = "file:///home/learning-spark/files/ham.txt" In [11]: input = hiveCtx.read.json(inputFile) 19/01/23 17:12:51 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 3.0 (TID 21...
idea运行Sparkstreaming读取hdfs文件遇到的问题
programmer_trip的博客
08-25 910
先贴代码 idea中运行SparkStreaming时，动态添加文件至指定目录下，结果没有任务信息输出 问题原因： ①idea所在主机时间和hdfs集群时间不同步 ②代码中指定的hdfs目录为非空(启动之前已经有文件) 解决办法 ①将hdfs集群时间与主机时间进行同步 1 首先停掉hdfs集群的所有进程 2 关闭虚拟机 3 为每台虚拟机勾选 将客户机时间与主机同步(S) 4 重启虚拟机 5 启动集群 时间同步成功 ②保证代码中指定的hdfs路径是空的或者路径不存在也可以，会自动创建 ③以上两
spark本地读取hdfs文件连接超时：java.net.ConnectException: Connection timed out: no further informa
YiRan_Zhao的博客
05-05 2386
报错信息具体描述：1.读写HDFS文件程序 def main(args: Array[String]): Unit = { // 如果在windows本地跑，需要从widnows访问HDFS，需要指定一个合法的身份 System.setProperty("HADOOP_USER_NAME", "hdfs") val logFile = "/user/zla/test" val spark = SparkSession .builder .appName("demo
在idea利用Spark读取HDFS上的文件，并将第一行设置为字段名称
06-11
好的，下面是在IntelliJ IDEA中使用Spark读取HDFS上的文件，并将第一行设置为字段名称的示例代码： ```java import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql....
idea用spark本地操作hdfs集群
doujiayun3939的博客
11-14 4124
在windows开发机上使用spark的local模式读取远程hadoop集群中的hdfs上的数据，这样的目的是方便快速调试，而不用每写一行代码或者一个方法，一个类文件都需要打包成jar上传到linux上，再扔到正式的集群上进行测试，像功能性验证直接使用local模式来快速调测是非常方便的，当然功能测试之后，我们还需要打包成jar仍到集群上进行其他的验证比如jar包的依赖问题，这个在local模式...
spark本地读取集群hive问题:Exception in thread main ExitCodeException exitCode=-1073741701
weixin_43806056的博客
10-27 1040
spark本地读取集群hive问题:Exception in thread main ExitCodeException exitCode=-1073741701
解决spark-shell启动，hdfs权限问题
小谷的博客
10-26 1395
解决spark-shell启动，hdfs权限问题环境问题尝试创建创建文件夹 环境 cdh6.3.2 问题 在启动spark-shell的时候，出现 /user/spark/driverLogs does not exist. Please create this dir in order to persist driver logs错误 虽然后面正常启动了，但是心中还是觉得创建一下这个日志路径比较好 尝试创建 hadoop dfs -mkdir -p /user/spark/driverLogs 可
Spark集成HIve 往HDFS中写数据权限不足的解决办法
zhijunming的博客
09-12 1475
1,错误呈现 Spark集成HIve后执行如下语句 def readHive(): Unit ={ val conf: SparkConf = new SparkConf().setMaster("local").setAppName("my") val sc: SparkSession = SparkSession.builder() .enableHiveSupport()// 启用Hive的支持 .config("spark.sql.warehouse.dir", "h.
Spark启动报错|java.io.FileNotFoundException: File does not exist: hdfs://hadoop101:9000/directory...
weixin_30788239的博客
04-22 3215
at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:156) at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:77) ....
[spark]解决beeline连接thrift-server加载数据权限问题
卧龙居
05-07 4244
1.如果期望spark的表存放到hive的hdfs中 需要在环境变量及conf/spark-env.sh中配置 HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop 2.如果期望用beeline连接thrift-server时不报权限错误 需要在环境变量及conf/spark-env.sh中配置 HADOOP_USER_NAME=有hdfs权限的用
java读取hdfs图片_java读取HDFS上的文件报错
weixin_33364925的博客
02-17 430
Configuration conf = new Configuration();FileSystemfs = FileSystem.get(URI.create(config.getGdPredPath()),conf);FSDataInputStream fdis = fs.open(new Path(config.getGdPredPath())); 代码走到这一步就报异常了！以前运行从来...
用vscode写微信小程序时，设置自动将less文件编译成wxss文件
weixin_44218060的博客
01-09 2317
##第一步：下载easy less插件 ##第二步：在设置setting文件中进行配置 ###打开设置setting文件 ##第三步：在setting.xml中添加如下配置： "less.compile": { "outExt": ".wxss" } 重新新建less保存就可看到自动生成wxss文件了 ...
java访问hdfs文件时碰到的一些问题
lvqiuyao的专栏
09-19 1629
1.java.io.IOException:No FileSystem for scheme:hdfs 解决：在pom.xml中漏添加了依赖 。下面3个依赖必不可少 org.apache.hadoop hadoop-common 2.7.1 org.apache.hadoop hadoop-hdfs 2.7.1 org.apache.hadoop had
使用Hadoop API操作HDFS文件时遇到的问题及解决总结
RYP_S 的专栏
07-11 5414
1、报错信息“提示找不到或无法加载主类”  函数中有无main方法 2 你用java 命令 时输入的类名是否正确。 3  classpath设置是否正确。 4  （很可能就是这个问题）看你的类是否是在某一个包下面（即类文件中有package person；类似的内容）；     如果有得话，你千万不要在命令行窗口中进到person这个包的目录下，去编译运行java类，    而要到 包
spark.sql读取HDFS数据完整流程
最新发布
09-03
在 Apache Spark 中，`spark.sql` 是 Spark SQL 模块的一部分，用于处理结构化数据（如 Parquet、JSON、CSV 等格式）。它可以通过 `DataFrame` 或 `SQL` 接口读取 HDFS 上的数据。下面是 **Spark SQL 读取 HDFS 数据的完整流程**，包括配置、读取、处理和输出等步骤。 --- ## ✅ 一、基本流程概述 1. **初始化 SparkSession** 2. **配置 Hadoop 文件系统（HDFS）连接参数** 3. **读取 HDFS 上的结构化数据文件（如 Parquet、CSV、JSON）** 4. **使用 DataFrame 或 SQL 对数据进行处理** 5. **输出结果或写回 HDFS** --- ## ✅ 二、完整代码示例（以 Parquet 为例） ```python from pyspark.sql import SparkSession # 1. 创建 SparkSession spark = SparkSession.builder \ .appName("Read HDFS Data") \ .getOrCreate() # 2. 读取 HDFS 上的 Parquet 文件 df = spark.read.parquet("hdfs://namenode:8020/user/hadoop/input/data.parquet") # 3. 显示数据结构和内容 df.printSchema() df.show() # 4. 使用 DataFrame API 进行操作（例如筛选） filtered_df = df.filter(df["age"] > 30) # 5. 使用 SQL 查询（需先注册为临时视图） df.createOrReplaceTempView("people") sql_df = spark.sql("SELECT * FROM people WHERE age > 30") sql_df.show() # 6. 将结果写回 HDFS filtered_df.write.parquet("hdfs://namenode:8020/user/hadoop/output/result.parquet") # 7. 停止 SparkSession spark.stop() ``` --- ## ✅ 三、读取不同格式的 HDFS 数据 | 文件格式 | Spark SQL 读取方式 | |----------|---------------------| | Parquet | `spark.read.parquet(path)` | | CSV | `spark.read.csv(path, header=True, inferSchema=True)` | | JSON | `spark.read.json(path)` | | ORC | `spark.read.orc(path)` | | Avro | 需要额外依赖：`spark.read.format("avro").load(path)` | --- ## ✅ 四、HDFS 配置注意事项 1. **Hadoop 集群配置**：确保 Spark 节点能够访问 Hadoop 集群的 `core-site.xml` 和 `hdfs-site.xml`，通常放在 `SPARK_HOME/conf/` 或通过 `--conf` 传入。 2. **HDFS 地址格式**：路径应以 `hdfs://namenode:8020/path` 格式书写。 3. **权限问题**：确保运行 Spark 应用的用户有权限访问 HDFS 路径。 --- ## ✅ 五、Spark SQL 与 HDFS 交互的完整流程图解（文字描述） ``` [Spark Driver] ↓ 初始化 SparkSession ↓ 配置 Hadoop 连接参数（可选） ↓ 调用 spark.read.xxx(...) 读取 HDFS 数据 ↓ 返回 DataFrame（逻辑计划） ↓ 调用 show(), count(), write() 等 action 操作 ↓ 生成物理执行计划并执行（Spark Executor 读取 HDFS 分片） ↓ 处理数据（过滤、聚合、转换） ↓ 将结果输出到控制台或写入 HDFS ``` --- ## ✅ 六、常见问题排查 - **报错：UnknownHostException**：检查 HDFS 的 Namenode 地址是否正确，DNS 是否能解析。 - **报错：File does not exist**：检查 HDFS 路径是否正确，文件是否存在。 - **报错：Permission denied**：检查运行 Spark 的用户是否有权限访问 HDFS。 - **性能问题**：Parquet/ORC 等列式存储格式读取效率更高；使用分区表可加速查询。 --- ##
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值