0681-6.2.0-如何在HDFS自动创建用户主目录

最新推荐文章于 2024-12-22 11:30:00 发布
原创 最新推荐文章于 2024-12-22 11:30:00 发布 · 4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs #cdh #hadoop

本文详细介绍了如何在Hue集成OpenLDAP前后，实现HDFS用户主目录的自动创建。集成前，通过Hue创建用户会自动在HDFS上创建家目录；集成后，需在Hue同步OpenLDAP用户并勾选“创建主目录”，才可在HDFS生成同名目录。

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 文档编写目的

本文介绍如何在Hue使在Hue中创建的用户能够在HDFS上自动生成同名的家目录。

分为集成OpenLDAP和未集成OpenLDAP来进行测试。

测试环境
1.Redhat7.2
2.采用root用户操作
3.CM/CDH6.2.0

2 未集成OpenLDAP验证

1.Hue的配置，可以看到当前集群未集成OpenLDAP。

在这里插入图片描述
在这里插入图片描述

2.查看HDFS上/user目录下当前用户

[root@cdh01 ~]# hadoop fs -ls /user

在这里插入图片描述
3.登陆Hue用管理员账号，点击管理用户，可以看到当前只有admin这一个用户存在

最低0.47元/天 解锁文章
Hadoop_SC
关注
0661-6.2.0-Hadoop数据备份与恢复
Hadoop_SC的博客
09-13 2291
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f 1 文档编写目的 在Hadoop集群中，数据文件是以Block的方式存储在HDFS上，而HDFS上数据的名称，副本存储的地址等都是通过NameNode上的元数据来保存的。Hive的数据库和表的数据也是保存在HDF...
0621-6.2.0-如何卸载CDH6.2
Hadoop_SC的博客
10-04 2114
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f 1 文档编写目的 Fayson在两年前的文章中介绍过CDH的卸载，参考《0008-如何卸载CDH（附一键卸载github源码）V1.2》和《0609-6.1.0-如何卸载CDH6.1》。除非你是使用Clouder...
启动hadoop,在hdfs中创建用户目录
高性价比服务器就选：蓝易云
01-10 2010
这样就在HDFS中创建了一个用户目录。
HDFS常用操作
zbb50351772的博客
05-09 7568
大数据学习笔记01 学习林子雨大数据教材的一些笔记 HDFS常用操作 启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；$ cd /usr/local/hadoop $ ./sbin/start-dfs.sh $ jps 在Linux系统的本地文件系统的“/usr/local/spark/mycode”目录下新建一个文本文件Word.txt$ cd /usr/local/spark $ mkdir mycode $ touch Word.txt || $vim Word.t
HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）
热门推荐
weixin_61472217的博客
09-13 4万+
主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。
在hdfs中创建用户目录_0681-6.2.0-如何在HDFS自动创建用户主目录
weixin_39781550的博客
12-03 1543
文档编写目的本文介绍如何在Hue使在Hue中创建的用户能够在HDFS上自动生成同名的家目录。分为集成OpenLDAP和未集成OpenLDAP来进行测试。测试环境：1.Redhat7.22.采用root用户操作3.CM/CDH6.2.0未集成OpenLDAP验证1.Hue的配置，可以看到当前集群未集成OpenLDAP。2.查看HDFS上/user目录下当前用户[root@cdh01 ~]# hado...
linux-like相关erros解决
王某的博客
04-30 905
以后将所有类linux系统的报错行为以及解决过程都记录在这篇博客，避免再次遇见时又犯难。 尽信书，不如无书。每个人遇见的问题虽然相似但是不一定完全相同，一定要根据实际情况解决问题。 ubuntu安装软件报错：【有的包未满足包依赖关系】 You might want to run ‘apt-get -f install’ to correct these: The follow...
CDH6.2.0集群搭建详细教程（包含开启Kerberos与Sentry）
This is Yunis's blog!
08-22 3777
CDH6.2.0+Sentry+Kerberos安装过程记录文档 一、准备工作 1、本文环境 名称 CentOS JDK MySQL CM CDH 版本 7.9 1.8 5.7 6.2.0 6.2.0 2、集群规划 IP 主机名 角色 安装服务 内存 处理器 192.168.198.11 dtb-tc-app11 Master cloudera-scm-servercloudera-scm-agent 6G 4 192.168.198.12 dtb-tc-app12
hdfs命令（一）- hdfs dfs命令
最新发布
zcs2312852665的博客
12-22 2040
Hadoop分布式文件系统（HDFS）是一种基于Java的，设计用于存储和处理大规模数据集的文件系统。由于其可靠性和高效的存储能力，HDFS在大数据处理领域中得到了广泛应用。掌握HDFS的常用命令可以使用户高效地管理和操作文件系统中的数据。本文将详细介绍HDFS的基本命令和其用法，包括如何创建目录、上传和下载文件、文件管理操作（如移动、重命名和删除）、权限与所有权管理等。通过示例讲解，读者将能够直观理解每个命令的作用及其应用场景，同时附上相关示例。
HDFS文件系统创建目录和删除目录
qq_63257044的博客
11-14 2924
HDFS文件系统创建和删除文件
hadoop 创建用户及hdfs权限，hdfs操作等常用shell命令
社会化搜索与互联网广告精准推荐
05-18 4万+
sudo addgroup hadoop#添加一个hadoop组 sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组 sudo gedit etc/sudoers#将hadoop组加入到sudoer 在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL 修改hadoop目录的权限 sudo chown -R
hadoop 添加本机文件夹到HDFS目录以及一些简单命令
macanv的专栏
10-03 3万+
写完mapreduce程序后，将jar包上传到集群中run,会出现如下异常Exception in thread "main" java.lang.ClassNotFoundException: /input原因是input目录是自己的本地目录，而不是HDFS的目录，会提示你hdfs://node1:9000/input path 是不存在的，解决方法就是将本地的input目录加到HDFS目录中。
hdfs删除文件 java_分布式文件系统HDFS——基础篇
weixin_39888080的博客
11-22 787
我们在上一篇《向Hadoop Say Hello——初识Hadoop》中已经对HDFS进行了简单介绍，还不清楚HDFS是什么的朋友可以点击上面链接先看上一篇，在这一篇中我们聚焦HDFS，从HDFS的设计架构和重要概念开始学习，然后会学习HDFS的命令行操作以及Java Api操作。特别提示：本文所进行的演示都是在hadoop-2.6.0-cdh5.15.1的版本进行的一、HDFS概述HDFS 是 ...
在hdfs中创建用户目录_大数据基础【Task 3】HDFS常用命令/API+上传下载过程
weixin_39941859的博客
12-03 3597
认识HDFSHDFS是用来解决什么问题的HDFS设计与架构熟悉hdfs常用命令Python操作HDFS的其他API观察上传后的文件，上传大于128M的文件与小于128M的文件有何区别？启动HDFS后，会分别启动NameNode/DataNode/SecondaryNameNode，这些进程的的作用分别是什么？NameNode是如何组织文件中的元信息的，edits log与fsImage的区别？使用...
查看hdfs目录的方法
ningyanggege的博客
01-24 1万+
如图所示:  
Hadoop用户权限管理及hdfs权限管理
tianzhimuzi的博客
05-08 2万+
1.创建用户student1，所属分组为studentschown -R student1:students /home/hadoop/hadoop-2.7.6  root用户将hadoop的相关操作权限授予student12.修改Hadoop目录的权限 chmod -R 755 /home/hadoop/hadoop-2.7.63.hadoop fs -mkdir /user/student1_...
Hadoop创建目录
weixin_44153121的博客
12-26 1万+
1、hadoop命令 安装路径下：hadoop-2.8.5/share/doc/hadoop/hadoop-project-dist/hadoop-common/FileSystemShell.html 比如，创建目录： mkdir Usage: hadoop fs -mkdir [-p] 2、API创建目录 2.1、测试类 package test.myhadoop; import java...
Hadoop HDFS 的 -mkdir 不支持级联创建目录
AnneQiQi的博客
04-17 1万+
1:hdfs的文件系统中如果没有目录aaa就要在其目录下创建bbb目录是不被允许的，即不支持级联创建新目录 hadoop fs -mkdir /aaa/bbb 如果aaa目录之前就已经存在则可以怎么创建 2:可以首先创建aaa目录 hadoop fs -mkdir /aaa 然后再在aaa下创建bbb hadoop fs  -mkdir /aaa/bbb
Windows下proj-6.2.0库的cmake编译指南
压缩包子文件的文件名称列表仅为“proj-6.2.0”，说明该压缩包内包含了所有相关文件，但未提供具体的文件目录结构，开发人员需要在解压缩后根据结构来组织这些文件，通常是按照库文件（lib）、动态链接库（dll）和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值