<think>
我们遇到了
Hive运行时关于
HDFS目录`/
tmp/
hive`的权限问题。错误信息明确指出：`
The root scratch dir: /
tmp/
hive on HDFS should be writable. Current permissi
ons are
: rwxr-xr-x`。虽然当前权限`rwxr-xr-x`（即755）允许所有用户读取和执行，但**写入权限**仅对所有者开放。因此，我们需要确保运行
Hive的用户（这里是
root）对该目录有写入权限。
###
解决方案步骤
#### 1
. 确认当前目录权限
首先，我们检查
HDFS上`/
tmp/
hive`目录的当前权限：
```bash
hdfs dfs -ls /
tmp
```
如果输出显示`/
tmp/
hive`的权限是`drwxr-xr-x`，则验证了错误信息。
#### 2
. 修改目录权限（推荐方法）
我们需要为目录添加组或其他用户的写入权限。以下是两种安全的方法：
**方法一：为组用户添加写入权限（推荐）**
```bash
hdfs dfs -chmod g+w /
tmp/
hive
```
此命令将组用户的权限从`r-x`变为`rwx`（如果目录的组是`supergroup`，且运行
Hive的用户属于该组，则有效）。
**方法二：为所有用户添加写入权限（宽松，适用于测试环境）**
```bash
hdfs dfs -chmod 777 /
tmp/
hive
```
> **注意**：在生产环境中，应避免使用777权限，以保持安全性。
#### 3
. 验证修改结果
再次检查权限：
```bash
hdfs dfs -ls /
tmp
```
期望输出（方法一）：
```
drwxrwxr-x
... /
tmp/
hive
```
或（方法二）：
```
drwxrwxrwx
... /
tmp/
hive
```
#### 4
. 重新运行
Hive
尝试执行
Hive命令，验证问题是否
解决：
```bash
hive -e "SHOW DATABASES;"
```
### 永久
解决方案：更改
Hive的临时目录
为了避免系统目录`/
tmp/
hive`的权限冲突，我们可以自定义
Hive的临时目录：
#### 1
. 在
HDFS上创建专用目录
```bash
# 创建目录（以
root用户操作
HDFS，或使用
hdfs用户）
sudo -u
hdfs hdfs dfs -mk
dir -p /user/
hive/
tmp
sudo -u
hdfs hdfs dfs -chmod 777 /user/
hive/
tmp # 或更严格的权限
```
#### 2
. 修改`
hive-site
.xml`
在
Hive的配置文件中添加以下属性：
```xml
<property>
<name>
hive.exec
.scratchdir</name>
<value>/user/
hive/
tmp</value>
</property>
```
#### 3
. 重启
Hive服务（如果适用）
如果
Hive作为服务运行，重启以使配置生效。
### 原理说明
-
Hive需要一个临时目录（`
scratchdir`）来存储中间结果和作业相关文件。
- 默认目录是`/
tmp/
hive`，其权限可能不匹配运行
Hive的用户。
- 通过`
hive.exec
.scratchdir`可以自定义此目录路径[^1]。
### 相关问题扩展
1
. **如何
解决`/user/
hive/warehouse`目录的WRITE权限拒绝问题？**
类似地，使用`
hdfs dfs -chmod`调整权限，或修改`
hive.metastore
.warehouse
.dir`属性指向一个有写入权限的目录[^1]。
2
. **Hadoop代理用户
(hadoop
.proxyuser
)配置有哪些安全风险？**
开放代理（如`hadoop
.proxyuser
.root.groups=*`）允许
root用户模拟任意用户，可能导致权限滥用。应在生产环境中限制为必要的最小集合[^4]。
3
. **Ker
beros认证环境下如何
解决Hive权限问题？**
在Ker
beros环境中，需确保：
-
Hive服务主体有权限访问
HDFS目录。
- 用户通过kinit获取凭证后，其权限由
HDFS的ACL或用户组映射决定。
4
. **
HDFS目录权限
(755/777
)设置的最佳实践是什么？**
- 遵循最小权限原则：755（所有者读写执行，其他用户只读执行）适用于大多数目录。
- 避免使用777，除非在完全隔离的测试环境中。
- 敏感目录（如`/
tmp`）应定期清理并监控。
> **关键点**：始终确保
Hive进程用户对相关
HDFS目录有适当的读写权限。
§§相关问题§§
1
. 如何在
Hive中配置自定义的仓库目录（warehouse
directory）？
2
. HDFS的ACL（访问控制列表）如何增强权限管理？
3
. 如何自动化清理
Hive的临时目录？
4
. Hive与Hadoop的用户身份映射机制是怎样的？
</think>
###
解决Hive 1
.2
.2运行时
HDFS /
tmp/
hive目录无写入权限问题
#### 问题分析
错误信息`
The root scratch dir: /
tmp/
hive on HDFS should be writable. Current permissi
ons are
: rwxr-xr-x`表明：
1
. **权限不足**：当前权限`rwxr-xr-x`（755）允许所有用户读取和执行目录，但**写入权限**仅限目录所有者[^1]
2
. **用户身份**：
Hive进程以
root身份运行，但目录所有者是hadoop用户（或其它用户），导致
root用户无法写入
3
. **目录作用**：`/
tmp/
hive`是
Hive的临时工作目录（
scratch dir），需要完全读写权限
####
解决方案
```mermaid
graph LR
A[检查目录权限] --> B{
root有写权限？}
B -- 是 --> C[重启
Hive]
B -- 否 --> D[修改权限]
D --> E[方案1
: 添加写权限]
D --> F[方案2
: 修改所有者]
D --> G[方案3
: 自定义目录]
```
##### 方案1
: 为所有用户添加写权限（推荐测试环境）
```bash
# 使用
HDFS超级用户操作
sudo -u
hdfs hdfs dfs -chmod 777 /
tmp/
hive
# 验证权限
hdfs dfs -ls /
tmp | grep
hive
# 应显示
: drwxrwxrwx
```
##### 方案2
: 修改目录所有者（推荐生产环境）
```bash
# 将目录所有者改为
root
sudo -u
hdfs hdfs dfs -chown
root:root /
tmp/
hive
# 设置严格权限
sudo -u
hdfs hdfs dfs -chmod 700 /
tmp/
hive
```
##### 方案3
: 自定义临时目录路径（永久
解决方案）
1
. **在
HDFS创建新目录**：
```bash
sudo -u
hdfs hdfs dfs -mk
dir -p /user/
hive/
tmp
sudo -u
hdfs hdfs dfs -chmod 777 /user/
hive/
tmp
```
2
. **修改`
hive-site
.xml`配置**：
```xml
<property>
<name>
hive.exec
.scratchdir</name>
<value>/user/
hive/
tmp</value>
</property>
<property>
<name>
hive.scratch.dir.permissi
on</name>
<value>733</value> <!-- 自定义权限 -->
</property>
```
3
. **重启
Hive服务**：
```bash
# 如果使用
Hive Server
hive --service metastore &
hive --service
hiveserver2 &
```
#### 验证修复
```bash
hive -e "CREATE TABLE test_perm
(id int
); DROP TABLE test_perm;"
# 成功执行表示权限问题已
解决
```
#### 预防措施
1
. **专用用户运行**：
```bash
# 创建
hive专用用户
sudo useradd
hiveuser -G hadoop
sudo -u
hdfs hdfs dfs -mk
dir /user/
hiveuser
sudo -u
hdfs hdfs dfs -chown
hiveuser
:hadoop /user/
hiveuser
```
2
. **定期清理临时目录**（添加至cr
ontab）：
```bash
# 每天清理7天前的临时文件
0 2 * * *
hdfs dfs -rm -r -skipTrash /
tmp/
hive/* >/dev/null 2>&1
```
3
. **配置文件优化**：
```xml
<!-- 在
hive-site
.xml中 -->
<property>
<name>
hive.start
.cleanup
.scratchdir</name>
<value>true</value> <!-- 启动时自动清理 -->
</property>
```
> **关键点**：生产环境应使用方案2或方案3，避免使用777权限。
Hive对临时目录要求严格的写入权限，特别是MapReduce任务执行期间[^1][^4]。
### 相关问题
1
. **如何
解决`/user/
hive/warehouse`目录的WRITE权限拒绝问题？**
类似方案：使用`
hdfs dfs -chmod g+w /user/
hive/warehouse`添加组写入权限，或修改`
hive.metastore
.warehouse
.dir`配置[^1]
2
. **Hadoop代理用户配置有哪些安全风险？**
开放`hadoop
.proxyuser
.*`可能导致权限提升，应限制为必需的最小权限集合[^4]
3
. **Ker
beros环境下如何
解决Hive权限问题？**
需确保：① Ker
beros principal有
HDFS访问权限 ② 使用`kinit`获取凭证 ③ 配置`
hive.server2
.enable
.doAs=false`
4
. **
HDFS目录权限设置的最佳实践是什么？**
- 遵循最小权限原则
- 临时目录用777，数据目录用750
- 定期审计权限（`
hdfs dfs -ls -R / | grep '^d'`
本文介绍了一种常见的PySpark开发过程中遇到的HDFS权限问题，即/tmp/hive目录不可写导致的问题。通过调整目录权限为777解决了这一问题。
扫一扫
1133
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
