hadoop-hdfs-fuse本地挂载hdfs-nginx发布

最新推荐文章于 2021-12-07 18:47:14 发布

良月述

最新推荐文章于 2021-12-07 18:47:14 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：运维-集群文章标签： hadoop fuse nginx 用户认证

本文链接：https://blog.youkuaiyun.com/Gmoon23/article/details/79381624

运维-集群专栏收录该内容

8 篇文章

订阅专栏

本文介绍了在CentOS 6.9环境下，如何挂载Hadoop HDFS到本地目录并通过Nginx进行发布。首先，通过yum安装hadoop-hdfs-fuse，然后配置挂载点并成功挂载HDFS。接着，设置了Nginx的用户认证，重启Nginx后，访问时会弹出认证窗口，登录成功后可以查看Hadoop中的文件，也可进行下载操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境
- centos6.9
- Hadoop单点
安装hadoop-hdfs-fuse
修改yum源

[cloudera-cdh5]
# Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/
gpgkey =https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera    
gpgcheck = 1

yum安装

yum install hadoop-hdfs-fuse

创建挂载点

mkdir -p /usr/local/lnmp/tengine/html/hdfs

挂载

# hadoop-fuse-dfs dfs://xue1:9000 /hdfs
INFO /data/jenkins/workspace/generic-package-rhel64-6-0/topdir/BUILD/hadoop-2.6.0-cdh5.14.0/hadoop-hdfs-project/hadoop-hdfs/src/main/native/fuse-dfs/fuse_options.c:164 Adding FUSE arg /hdfs

测试挂载，进入挂载目录可看到hdfs文件

注：“xue1:9000”是core-site.xml文件中设置的

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://xue1:9000</value>
    </property>

配置nginx用户登录认证

# 创建认证用户 xes 并输入密码
htpasswd -c /usr/local/lnmp/tengine/conf/passwd.db xes
# 修改文件权限
chmod 400 passwd.db
# 将文件所属人、组改为启动nginx的用户
chown nobody:nobody /usr/local/lnmp/tengine/conf/passwd.db 
# 查看密码文件
cat /usr/local/lnmp/tengine/conf/passwd.db
   xes:Mva54b.jtuUMM

配置nginx

server {
        listen       12121;      # 监听端口
        server_name  localhost; 
        auth_basic "user";
        auth_basic_user_file /usr/local/lnmp/tengine/conf/passwd.db;
        limit_rate 1000k;    # 限速
        location / {
            root html/hdfs/;
            autoindex on;    # nginx列出整个目录
            autoindex_exact_size off;  # 显示出文件的大概大小，单位是kB或者MB或者GB
            autoindex_localtime off;   # 显示的文件时间为GMT时间
        }
    }