spark-0.8.1安装——基础环境

最新推荐文章于 2025-10-10 08:30:00 发布

原创最新推荐文章于 2025-10-10 08:30:00 发布 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了在VirtualBox环境下，使用脚本进行Fedora-20集群的部署与资源同步的过程，包括环境配置、主机只模式设置、目录文件同步、SSH无密码访问配置、JDK与Scala的安装等步骤。

环境

virtualbox下host-only模式的4台Fedora-20机器，均为64位机器

192.168.56.102 Fedora01
192.168.56.103 Fedora02
192.168.56.104 Fedora03
192.168.56.105 Fedora04

把下面脚本放在Fedora01机器上，用于同步目录和文件到其他机器，下面的同步操作均在Fedora01上操作

#!/bin/bash

declare -a slaves

function abs_path()
{
	if [ $# != 1 ]; then
		echo ""
	else
		echo $(cd $(dirname $1); pwd)
	fi
}

function init_slaves()
{
	for ((i=2;i<=4;i++)); do
		slaves[$(($i-01))]="Fedora0$i"
	done
}

function usage()
{
	echo "Usage: $0 file1 [file1] [...]"
}

function check_input()
{
	for i in $*; do
		if ! [ -a $i ]; then
			usage
			echo -e "\033[31m$i does not exist, nothing syned\033[0m"
			return 1
		fi
	done
	return 0
}

if [ $# -lt 1 ]; then
	usage
	exit 1
fi

if ! check_input $*; then
	exit 1
fi


init_slaves

for i in ${slaves[*]}; do
	for j in $*; do
		echo -e "\033[32mrsync -Pav $j $i:$(abs_path $j)/\033[0m"
		if ! rsync -Pav $j $i:$(abs_path $j)/;then
			echo -e "\033[31msync failed\033[0m"
			exit 1
		fi
	done
done

配置/etc/hosts