配置Ceph FS作为Hadoop的后端存储

最新推荐文章于 2025-02-18 09:34:27 发布

原创

最新推荐文章于 2025-02-18 09:34:27 发布 · 1.5k 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了如何配置Ceph文件系统（Ceph FS）作为Hadoop的数据存储后端，通过步骤指导读者理解并实现这一集成过程，旨在提升大数据处理的存储效率和可靠性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

##（1）安装Ceph FS的java接口库
# yum install cephfs-java libcephfs-devel python-cephfs libcephfs_jni-devel
##（2）安装Hadoop 
# wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.2.1.tar.gz
# tar xzf hadoop-3.2.1.tar.gz && cd hadoop-3.2.1
## 配置libcephfs_jni-devel动态链接库
# cd lib/native
# ln -s /usr/lib64/libcephfs_jni.so .
## 下载hadoop-cephfs.jar
# wget -c http://download.ceph.com/tarballs/hadoop-cephfs.jar
# cp hadoop-cephfs.jar /usr/share/java
## （3）修改hadoop的运行配置文件
----------------------------------------------------
1: hadoop-env.sh 
--添加
export HADOOP_CLASSPATH=/usr/share/java/hadoop-cephfs.jar:/usr/share/java/libcephfs.jar:$HADOOP_CLASSPATH
2: core-site.xml
<configuration>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop</value>
</property>
<property>
    <name>fs.default.name</name>
    <value>ceph://ip</value>
</property>
<pro