使用Fuse挂载HDFS

最新推荐文章于 2024-03-28 09:31:36 发布

AshlingR

最新推荐文章于 2024-03-28 09:31:36 发布

阅读量3.6k

点赞数

CC 4.0 BY-SA版权

文章标签： hadoop library shell java os path

本文链接：https://blog.youkuaiyun.com/ashlingr/article/details/7798645

本文介绍了在CentOS 6.2环境下，如何安装和配置Fuse及Hadoop的相关依赖，以实现使用Fuse挂载HDFS文件系统。主要步骤包括：安装Fuse及相关库，设置环境变量，编译Hadoop的C++库，最后通过fuse_dfs_wrapper.sh脚本将HDFS挂载到本地文件系统。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境

OS:centos 6.2

gcc、jdk（1.6.33）、ant

ant 需要1.8.2或以上版，在官方网站可下载

依赖包安装

yum install automakeautoconf m4 libtool pkgconfig fuse fuse-devel fuse-libs

1. 安装fuse
这里可以编译安装或yum安装

   Shell代码  
   
 yum install fuse fuse-libs fuse-devel

2. 安装ant
使用yum安装

   Shell代码  
   
 yum install ant

3. 添加系统配置
vi /etc/profile ，视自己的实际情况进行设置

   Shell代码  
   
  
 export OS_ARCH=amd64     #如果是32位机器填i386
 export OS_BIT=64         #如果是32位机器填32
 export JAVA_HOME=/usr/java/jdk1.6.0_26  
 export CLASSPATH=,:$JAVA_HOME/lib  #注意点号，与冒号
 export HADOOP_HOME=/usr/local/hadoop-0.20.2  
 export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:$HADOOP_HOME/c++/Linux-$OS_ARCH-$OS_BIT/lib:/usr/local/lib:/usr/lib  
 
 

执行代码： source /etc/profile

4. 进行编译

   Shell代码  
   
  
 cd $HADOOP_HOME  
 ant compile-c++-libhdfs -Dlibhdfs=1 -Dcompile.c++=1  
 ln -s c++/Linux-$OS_ARCH-$OS_BIT/lib build/libhdfs  
 ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1  

如果编译没有通过，可以是缺少依赖包： automakeautoconf m4 libtool pkgconfig fuse fuse-devel fuse-libs

yum install automakeautoconf m4 libtool pkgconfig fuse fuse-devel fuse-libs

5. 环境配置

  编辑/etc/fuse.conf，写入以下内容
user_allow_other
mount_max=100
 
编辑$HADOOP_HOME/build/contrib/fuse-dfs/fuse_dfs_wrapper.sh
if [ "$HADOOP_HOME" = ""]; then
export HADOOP_HOME=具体的hadoop目录
fi
 
exportPATH=$HADOOP_HOME/build/contrib/fuse_dfs:$PATH
 
for f in ls $HADOOP_HOME/lib/*.jar $HADOOP_HOME/*.jar; do
export   CLASSPATH=$CLASSPATH:$f
done
 
if [ "$OS_ARCH" = "" ];then
export OS_ARCH=amd64   如果是32位机器填写i386
fi
 
if [ "$JAVA_HOME" = "" ];then
export   JAVA_HOME=具体的jdk目录
fi
 
if [ "$LD_LIBRARY_PATH" ="" ]; then
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:$HADOOP_HOME/build/libhdfs:/usr/local/lib
fi
 
./fuse_dfs $@

5. 测试
启动hadoop集群后，

Shell代码