KFS源码编译与安装

xfsprogs-2.0.3.src.tar.gz linux下XFS所需包。网上相关的安装文档里有详细的安装说明,并常有涉及到此安装包 立即下载

1.安装依赖软件

为了编译和运行KFS文件系统,需要安装以下软件包:

  • Boost (1.34或以上)
  • cmake (2.4.6或以上)
  • log4cpp (1.0或以上)
  • gcc version (4.1或以上)
  • xfs devel RPMs on Linux

下面介绍的是手动安装以上软件包的过程,这里假设你已经下载完成软件包压缩文件。

1、安装gcc

tar zxvf gcc-4.1.2.tar.gz
mkdir/usr/local/gcc-4.1.2
cd gcc-4.1.2
./configure --prefix=/usr/local/gcc-4.1.2 --enable-threads=posix --disable-checking --enable--long-long --host=i386-redhat-linux--with-system-zlib --enable-languages=c,c++,java
make
make install

备注:以上过程将gcc安装在/usr/local/gcc-4.1.2目录下,支持C/C++和JAVA语言,其它选项参见gcc提供的帮助说明。

2、安装log4cpp

tar xvzf log4cpp-1.0.tar.gz
cd log4cpp-1.0
./configure
make
make install

3、安装xfs

tar xvzf xfsprogs-3.0.1.tar.gz
cd xfsprogs-3.0.1
./configure
make
make install
make install-dev

4、安装cmake

tar xvzf cmake-2.6.4.tar.gz
cd cmake-2.6.4
./bootstrap
make
make install

5、安装boost

tar xvzf boost_1_39_0.tar.gz
cd boost_1_39_0
./bootstrap.sh
./bjam -sTOOLS=gcc --without-python install

2.编译和安装KFS

首先,到sourceforge下载kfs-0.5.tar.gz(点击下载),这里假设下载后目录为用户根目录。

然后,解压KFS软件包,这里假设解压后KFS所在目录:~/kfs-0.5,编译源码所在目录:~/kfs-0.5/build。

为了完整编译KFS,需要有以下三部分:

  • 编译C++部分,生成MetaServer/ChunkServer,各种API操作的tools,C++客户端;
  • 编译Java部分,生成kfs.jar,即Java客户端,以通过Java JNI调用本地的C++方法;
  • 编译Python扩展模块,生成Python客户端。

2.1 编译C++部分

tar xvzf kfs-0.5.tar.gz
cd kfs-0.5
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=RelWithDebInfo ~/kfs-0.5
gmake
gmake install

编译之后,二进制文件将被安装在以下目录:

  • 可执行文件:~/kfs-0.5/build/bin
  • 库文件:~/kfs-0.5/build/lib

备注:编译KFS过程中,带上了debug调试信息。

2.2 编译Java部分

cd ~/kfs-0.5
ant jar

编译之后,生成的文件为:

  • Java class文件:~/kfs-0.5/build/classes
  • Java Jar包:~/kfs-0.5/build/kfs-0.5.jar

最后,将生成的Jar包添加到CLASSPATH环境变量中:

export CLASSPATH=${CLASSPATH}:~/kfs-0.5/build/kfs-0.5.jar

2.3 编译Python扩展模块

为了编译Python扩展模块,首先需要进行步骤2.1,生成KFS客户端库文件,这里库文件所在目录是:~/kfs-0.5/。

编译Python扩展模块的步骤:

cd to ~/kfs-0.5/src/cc/access
Edit kfs_setup.py and setup the include path. Specifically, kfsext = Extension('kfs', include_dirs ['kfs/src/cc/', '<path to boost>'])
python kfs_setup.py ~/kfs-0.5/build/lib/ build

编译之后,生成共享链接库kfs.so,进行安装:

python kfs_setup.py ~/kfs-0.5/build/lib/ install

如果要安装到一个指定的目录下(如~/kfs-0.5/build/lib),需要设置home选项:

python kfs_setup.py ~/kfs-0.5/build/lib install --home=~/kfs-0.5/build/lib

同时,需要更新PYTHONPATH和LD_LIBRARY_PATH环境变量:

export PYTHONPATH=${PYTHONPATH}:~/kfs-0.5/build/lib/lib64/python
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:~/kfs-0.5/build/lib 

3.启动KFS服务进程

1、 MetaServer

cd ~/kfs-0.5/build/src/cc/meta
cp ~/kfs-0.5/conf/MetaServer.prp ./
./metaserver MetaServer.prp

备注:这里需要提前创建MetaServer.prp中指定的和logDir和cpDir目录:./kfslog和./kfscp。

2、ChunkServer

cd~/kfs-0.5/build/src/cc/chunk
cp ~/kfs-0.5/conf/ChunkServer.prp ./
./chunkserver ChunkServer.prp

3、KfsClient

cd ~/kfs-0.5/build/src/cc/tools
./kfsshell –s <meta server name> -p <port>
./cptokfs –s <meta server name> -p <port> -d <source path> -k <kfs path>
./cpfromkfs –s <meta server name> -p <port> -d <source path> -k <kfs path>

备注:~/kfs-0.5/build/src/cc/tools目录下有各种API操作工具,如kfsshell、cptokfs、cpfromkfs等,这里没有一一列举。

4.查看和关闭KFS服务进程

1、查看进程

ps –aux | grep metaserver
ps –aux | grep chunkserver
ps –aux | grep kfsshell

2、关闭进程

kill -9 <pid>

5.参考资料

  • http://code.google.com/p/kosmosfs/
  • http://sourceforge.net/projects/kosmosfs/

kfs嵌入式文件系统 v1.0.3 kfs文件系统来源于EmbSeek团队一个基于ARM7的嵌入式控制器项目,是一个免费的开源的小型嵌入式文件系统。kfs嵌入式文件系统给出了一种管理小容量(<64K)存储器的便捷方法,可以应用于使用EEPROM、FLASH作为存储介质的嵌入式系统中,具有良好的文件操作接口,能保证存储器的均匀擦写,且代码短小,在小型的文件管理应用中具有很大的优势。 立即下载

相关推荐

kfs 分布式系统的文件管理分析

kfs 分布式文件系统的文件管理的实现、复杂度分析

Linux内核学习7——中断下半部分的代码分析及应用

Linux将中断处理分为上下两部分,上半部分主要处理紧急的,必须马上处理的事情,下半部分处理不那么紧急的事情,linux内核也提供了相应的机制,这里使用理论课中的tasklet机制来进行实验。 本节代码是在上节的基础上稍微增加一部分代码即可。 一、程序示例 完整代码如下:interrupt2.c #include <linux/kernel.h> #include <linux/init.h> #include <linux/module.h> #include <

weixin_45730790的博客 845

如何使用windows搭建一个公网ftp/sftp服务器

在有公网ip的情况下,使用windows系统搭建一个ftp/sftp服务器会带来很多的方便,可以实现远程移动端的一键式访问,对于文件的备份、多设备的共享都十分的方便。然而网上许多的教程都是基于windows自带的iis搭建一个局域网ftp服务器,然而在搭建好后,我想要通过端口映射的方式实现在外网访问时,却发现连接不上的问题,感觉可能是因为windows家庭版的原因导致的。因此在查阅很多资料之后终于找到了一个公网ftp/sftp服务器的搭建方式,实测可用。这里把流程记录一下,做一个备忘录,也方便大家搭建。

weixin_43354138的博客 1万+

xfs_repair流程分析(一)

整体流程请看:xfs_repair在做什么 https://blog.youkuaiyun.com/Angel_94/article/details/88200369 源码:xfsprogs-4.19.0 本文分析xfs_repair流程第一步 步骤1、获取并检查超块信息 如果没有找到超块数据,就结束 入口: /* ARGSUSED */ void phase1(xfs_mount_t *mp) { xfs...

小码虫的博客 2458

STM32(H7)学习记录-14 XSPI连接DDR SDRAM(HyperBus)

主控芯片是STM32H7S7 ,HyperBusRAM芯片是W956D8MBYA5I。*DQS0(这个引脚是作为RWDS)使用的CubeMX版本是6.13.0。

m0_71918616的博客 1074

逆向学习:从已上线微信小游戏反推Cocos工程结构(以切水果跑酷为例)

本文以“切水果跑酷”为例,详细介绍了如何通过逆向分析已上线的微信小游戏,反推其基于Cocos Creator的原始工程结构。文章深入拆解了编译后的目录骨架、资源加载逻辑与依赖关系,并重点解析了微信平台API的调用特征,为开发者提供了一种高效学习游戏架构与设计模式的实用方法。

kk1234的博客 1076

Gentoo Linux x86 源码安装

根据 gentoo 官方进行细化。 1. 介绍 本指南包含了完成一次从stage3开始安装Gentoo要用到的所有命令。你需要连接到Internet以下载stage3包和Portage快照。 重要: 新手应当阅读手册,其中有关于安装过程更完整的描述。这篇快速安装指南是为那些只需要...

weixin_33851604的博客 214

保姆级教程:在阿里云ECS上用Docker一键部署EMQX MQTT服务器(Ubuntu 20.04)

本文提供在阿里云ECS上使用Docker一键部署EMQX MQTT服务器的详细教程,涵盖从实例创建、Docker环境配置到EMQX部署与优化的全流程。适合物联网开发者快速搭建高效、安全的MQTT消息服务器,适用于智能家居、工业物联网等场景。

weixin_28739079的博客 310

xfs_repair流程分析(二)

整体流程请看:xfs_repair在做什么 https://blog.youkuaiyun.com/Angel_94/article/details/88200369 源码:xfsprogs-4.19.0 本文分析xfs_repair流程第二步 步骤2、检查AG头结构信息 检查AG头结构信息(AGI,AGF和AGFL)并扫描AGF和AGI btree。 入口 /* * ok, at this point, ...

小码虫的博客 1107

Haclon案例-找出图中面积最大的圆

自带的函数,求得圆的面积和圆心点坐标,然后,用本章所学习的选择算子和循环算子找出面积最大的圆。的图片,试着给它加上不同种类的噪声,然后找出其中面积最大的圆,并将圆的面积标注在其圆心位置。可知,除了六个圆形之外,还有一些微小的噪声点,采用了开运算和特征选择的方法去除噪声。1. 该图片为一灰度图,对其进行二值化,二值化后如图。4. 在面积最大圆的圆心坐标位置写上该圆的面积。

qq_20660115的博客 909

保姆级教程:用TIA Portal V17给S7-1200 PLC和HMI做个联调仿真(附抢答器完整项目包)

本文提供了一份详细的TIA Portal V17教程,指导如何实现S7-1200 PLC与HMI的联合仿真开发。通过抢答器项目实例,涵盖从环境搭建、PLC编程到HMI设计的全流程,帮助工程师高效完成工业自动化系统的虚拟调试,显著提升开发效率。

weixin_30417487的博客 636

分布式文件系统KFS源码编译与安装过程

Kosmos distributed file system (KFS)是一个专门为数据密集型应用(搜索引擎,数据挖掘等)而设计的存储系统,类似于Google的GFS和Hadoop的HDFS分布式文件系统。 KFS使用C++实现,支持的客户端包括C++,Java和Python。 以前曾在开源KFS基础上做过开发,这里介绍一下如何进行KFS的源码编译与安装过程(以kfs-0.5为例)。 1.安装...

weixin_34403693的博客 158

保姆级教程:用BMS的HVIL检测电路,手把手教你排查高压互锁故障(附PWM/直流源方案对比)

本文详细解析了BMS中的HVIL检测电路,通过对比直流源与PWM两种方案,提供了一套系统化的高压互锁故障诊断流程。从电路原理到实战技巧,帮助维修人员精准定位故障根源,提升电动汽车高压系统的安全性和可靠性。

weixin_29300241的博客 394

KFS部署与应用

[b][color=red]原创文章:转载请注明出处http://wangwei3.iteye.com/blog/905856[/color][/b] [b]安装软件[/b] [b]一、安装依赖软件[/b] 1、安装log4cpp tar xvzf log4cpp-1.0.tar.gz cd log4cpp-1.0 ./configure make make install...

iteye_17257的博客 342

YOLOv8改进 | Conv篇 | DWRSeg扩张式残差助力小目标检测 (附修改后的C2f+Bottleneck)

本文内容给大家带来的DWRSeg中的DWR模块来改进YOLOv8中的C2f和Bottleneck模块,主要针对的是小目标检测,主要创新点可以总结如下:多尺度特征提取机制的深入研究和创新的DWR模块和SIR模块的提出这种方法使得网络能够更灵活地适应不同尺度的特征,从而更准确地识别和分割图像中的物体。通过本文你能够了解到DWRSeg的基本原理和框架,并且能够在你自己的网络结构中进行添加(DWRSeg需要增加一定的计算量一个DWR模块大概增加0.4GFLOPs)。

Snu77的博客 9578

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

linux裸机RedHat as5.3 as4.3 上最新KFS 0.5版本安装全过程 2010年11月 依赖库使用最新版本源码编译安装[1]

摘要: 裸机RedHat as5.3 32位机器上,裸机上默认安装有boost1.33,gcc version 4.1.2 20080704 (Red Hat 4.1.2-44),java1.4,boost和gcc(目前知道的是gcc4.1.2版本以上,boost1.33以上KFS0.5版可以编译通过)符合KFS的版本要求,只需要下载并编译使用cmake来编译KFS,下载安装git来下载xfs,KFS依赖xfs的几个头文件,java1.4升级到java1.6即可。 裸机RedHat as4.3

2746

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

linux裸机RedHat as5.3 as4.3 上最新KFS 0.5版本安装全过程 2010年11月 依赖库使用最新版本源码编译安装[2]

这一篇 http://blog.youkuaiyun.com/jrckkyy/archive/2010/11/24/6032877.aspx 里面已经安装好了必要的依赖软件和配置好了环境变量现在开始编译,安装和简单的操作。/data/jrckkyy/kfs0.5 为kfs解压开的目录下面开始cd /data/jrckkyy/kfs0.5mkdir buildcd build// 我们先编译debug版本的mkdir debugcmake ../../make install  // 此时编译出来的二进制文件会自动放在

1281

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

C++实现的GFS--分布式文件系统KosmosFS的编译和简单部署

KosmosFS像Hadoop HDFS一样,是google GFS的开源实现,不过KFS是C++语言写成,目前只支持linux和solaris系统。由于使用了C++开发,所以必然比HDFS在性能和稳定性上有先天优势,在研究其源码之前,先看看如何编译部署它吧。很繁琐,因为KFS依赖了大量的第三方软件,而C++既依赖于操作系统又在软件工程上比java差,所以编译安装它要做大量准备工作。今天抽空装了个...

iteye_10227的博客 420

KFS构建云存储之:KFS编译安装1

环境:Centos 6.2 x64 bit,最小安装。 基础工具安装: yum install make yum install wget 1、安装KFS相关依赖包 yum -y install gcc gcc-c++ yum -y install log4cpp yum -y install cmake yum -y install

greensurfer的专栏 2648

KFS(kosmosfs)的编译和安装部署 (step by step)

1. 简介 KFS是基于GFS(The Google File System)用C++实现的分布式文件系统,是GFS的两个实现之一(另一个是HDFS,在HADOOP开源项目中,用JAVA编写)。 2. 参考 http://code.google.com/p/kosmosfs/ http://sourceforge.net/projects/kosmosfs/ http://s

lzx1104的专栏 3400

KFS安装问题

<br /><br />KFS是GFS的一个C++开源实现,基本原理可以参考中文版[url]http://www.codechina.org/doc/google/gfs-paper/introduction.html[/url],英文版[url]http://labs.google.com/papers/gfs-sosp2003.pdf[/url]<br />源码下载地址:[url]http://sourceforge.net/projects/kosmosfs/[/url]<br />KFS与HDFS的

kannju的专栏 889

linux as 5 安装,Linux裸机RedHat AS 5.3 AS4.3 上最新KFS 0.5版本安装全过程

裸机RedHat as5.3 32位机器上,裸机上默认安装有boost1.33,gcc version 4.1.2 20080704 (Red Hat 4.1.2-44),java1.4,boost和gcc(目前知道的是gcc4.1.2版本以上,boost1.33以上KFS0.5版可以编译通过)符合KFS的版本要求,只需要下载并编译使用cmake来编译KFS,下载安装git来下载xfs,KFS依赖...

weixin_42322219的博客 149

从源码编译 QFS:Quantcast File System 在 Linux 与 macOS 上的完整构建指南

QFS(Quantcast File System)是 Quantcast 开源的高性能、高容错分布式文件系统,专为 MapReduce 等顺序读写大文件的场景设计。如果你不想直接使用二进制发行包,而是希望从源码编译 QFS,掌握完整的构建流程,那么本文就是为你准备的:从依赖安装、源码获取,到编译调试与验证部署,一份在 Linux 与 macOS 上都能顺畅照做的完整指南。 [![QFS 分布式

gitblog_00928的博客 836
上一篇: linux下boost库安装
下一篇: hadoop介绍 - Hadoop部署案例
迷途小码
博客等级 码龄19年 71粉丝 95原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值