在Linux下编译使用kfs-0.3

原稿url:http://www.pginjp.org/modules/newbb/viewtopic.php?viewmode=flat& amp;type=&topic_id=775&forum=22

 

编译安装KFS：

kfs:kosmosfs
環境:
os:centos5.3
metaserver：VM-CentOS-5-SHU
chunkservers:VM-CentOS-5-SHU-2,VM-CentOS-5-SHU-3,VM-CentOS-5-SHU-4
前提条件：sshでパスワード無しで認証になる

kfsのインストール
metaserverで下記の操作を行う
一、必要パッケージの準備
１、boostのインストール（ver1.34以上）
yum -y install boost boost-devel

2.gccのインストール(ver4.1以上)
yum -y install gcc gcc-c++ ←存在でなければ

3.cmakeのインストール（ver2.4.6）
cd /usr/local/src
wget http://www.cmake.org/files/v2.6/cmake-2.6.4.tar.gz
tar -zxvf cmake-2.6.4.tar.gz
cd /usr/local/src/cmake-2.6.4
./bootstrap --prefix=/usr/local
make
make install

4.log4cppのインストール(ver1.0)
cd /usr/local/src
wget http://downloads.sourceforge.net/proj ... pp-1.0/log4cpp-1.0.tar.gz
tar zxvf log4cpp-1.0.tar.gz
cd log4cpp-1.0
./configure
make
make install

5.xfs devel RPMs on Linuxのインストール
yum -y install xfsprogs xfsprogs-devel

二、kfsのビルド
cd /usr/local/
wget http://downloads.sourceforge.net/proj ... fs/kfs-0.3/kfs-0.3.tar.gz
tar zxvf kfs-0.3.tar.gz
cd kfs-0.3
mkdir build
cd build

vi /usr/local/kfs-0.3/CMakeLists.txtを編集110行に下記を追記
SET(JAVA_INCLUDE_PATH "/usr/java/latest/include")
SET(JAVA_INCLUDE_PATH2 "/usr/java/latest/include")

cmake -D CMAKE_BUILD_TYPE=RelWithDebInfo /usr/local/kfs-0.3/
gmake
gmake install

三、設定
mkdir /export/kosmix
vi /usr/local/kfs-0.3/scripts/machines.cfg
[metaserver]
node: VM-CentOS-5-SHU
clusterkey: kfs-test-cluster
rundir: /export/kfsmix/kfs/meta
baseport: 20000
loglevel: INFO
numservers: 3
[chunkserver_defaults]
rundir: /export/kfsmix/kfs/chunk
chunkDir: /export/kfsmix/kfs/chunk/bin/kfschunk
baseport: 30000
space: 3400 G
loglevel: INFO

vi /usr/local/kfs-0.3/conf/machines.txt
VM-CentOS-5-SHU-2
VM-CentOS-5-SHU-3
VM-CentOS-5-SHU-4

vi /usr/local/kfs-0.3/conf/ChunkServer.prp
# Configuration for chunk server:
# meta server location
chunkServer.metaServer.hostname = VM-CentOS-5-SHU
chunkServer.metaServer.port = 30000
# port to open for client connections
chunkServer.clientPort = 22000
# Directory for storing the chunks
chunkServer.chunkDir = ./chunks
chunkServer.logDir = ./logs
# provide 300G of storage space
chunkServer.totalSpace = 300000000000

四、chunkサーバをファイルを移す
# rsync -av /usr/local/kfs-0.3/ 172.16.0.48:/usr/local/kfs-0.3/
# rsync -av /usr/local/kfs-0.3/ 172.16.0.49:/usr/local/kfs-0.3/
# rsync -av /usr/local/kfs-0.3/ 172.16.0.52:/usr/local/kfs-0.3/

ステップ一の操作を各chunkサーバに全部行う必要

五、セットアップ
cd scripts
# python kfssetup.py -f machines.cfg -m machines.txt -b ../build -w ../webui

六、起動と停止
起動コマンド
# python kfslaunch.py -f machines.cfg -m machines.txt -s

停止コマンド：
# python kfslaunch.py -f machines.cfg -m machines.txt -S

七、使い方
１、ファイルをkfsにputする方法
cptokfsコマンドで
例：
./cptokfs -s localhost -p 20000 -d /home/hadoop/test -k /pub/

２、ファイルをkfsにgetする方法
./cpfromkfs -s localhost -p 20000 -k /pub/test -d /home/hadoop/newtest ←コピー先フォルダ既に存在するのを条件として

３、kfsシェールで
./kfsshell -s localhost -p 20000 ←シェール環境へ入る
サポートされているシェールコマンドは、下記のとおり
cd ←ディレクトリを変わる
changeReplication　 ← レプリケーションを修正
cp ←ファイルをコピー
ls ←ファイル一覧を表示
mkdir ←ディレクトリを作成
mv ←フォルダかファイルを移動
rm ←ファイルを削除
rmdir ←ディレクトリを削除
stat ←ファイルかフォルダの属性を取得
pwd ←今のパースを表示
上記のコマンドの使い方は、linuxと略同じ

 

kfs fuse文件系统：

1.ビルド
# cd /usr/local/kfs-0.3
# vi CMakeLists.txt
修正前
SET(Fuse_LIBRARY_DIR "")
SET(Fuse_INCLUDE_DIR "")
修正後
SET(Fuse_LIBRARY_DIR "/usr/local/lib")
SET(Fuse_INCLUDE_DIR "/usr/local/include")

# cd build
# make install

2.マウント
# vi /usr/local/kfs-0.3/build/bin/kfs.prp
# Where is the metaserver
metaServer.host = VM-CentOS-5-SHU
metaServer.port = 20000

# mkdir /mnt/kfs
# kfs_fuse /mnt/kfs -f

3.テスト
略

結論：基本機能もまだまだ、fuse-dfsよりもっと不安定と機能が少ない