Linux系统上安装scala

方法/步骤

进入官网下载tar.gz文件

 

 

在安装目录解压

chmod 755 scala-2.11.6.tgz

tar -xzvf scala-2.11.6.tgz 

安装路径为/scala-2.11.6

        配置环境变量

cd ~

vim .bashrc 

添加如下配置:

 

export SCALA_HOME=/scala-2.11.6

export PATH=$SCALA_HOME/bin:$PATH

保存后,执行 . .bashrc (注意. .之间空格)

 

键入scala,进入scala命令行

显示版本信息

 

 

 

Linux系统安装SparkScala可按以下步骤进行: ### 配置环境变量 在相应的配置文件中设置以下环境变量,可参考如下内容进行配置: ```bash export SCALA_HOME=/usr/local/src/scala export JAVA_HOME=/usr/local/src/jdk1.8.0_152 export SPARK_MASTER_IP=master export SPARK_WOKER_CORES=2 export SPARK_WOKER_MEMORY=2g export HADOOP_CONF_DIR=/usr/local/src/hadoop/etc/hadoop #export SPARK_MASTER_WEBUI_PORT=8080 #export SPARK_MASTER_PORT=7070 ``` 此配置文件示例来源于在hadoop上进行sparkScala安装与配置的场景 [^1]。也有不同路径配置示例,如在spark下的conf目录打开`vim spark-env.sh`文件,配置如下 [^4]: ```bash export SCALA_HOME=/opt/scala-2.12.12 export JAVA_HOME=/opt/module/java export SPARK_MASTER_IP=master export SPARK_WOKER_CORES=2 export SPARK_WOKER_MEMORY=2g export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop #export SPARK_MASTER_WEBUI_PORT=8080 #export SPARK_MASTER_PORT=7070 ``` ### 处理“Hadoop free” binary 若使用 “Hadoop free” binary,如`spark-3.1.1-bin-without-hadoop-scala-2.12.tgz`、`spark-2.4.8-bin-without-hadoop.tgz` ,需要自己通过配置 `SPARK_DIST_CLASSPATH` 变量,以便可以包含指定版本的Hadoop的相关jar包 [^5]。 ### 测试Scala交互式环境 启动`spark-shell`测试scala交互式环境,命令如下 [^2]: ```bash spark-shell --master spark://192.168.133.120:7077 ``` 注:`--master`用于指定Spark的Master节点的地址,默认运行在7077端口,启动成功后,可以访问 `http://master_ip:8080` 页面。 ### 相关问题 1. 在Linux系统安装SparkScala时,环境变量配置错误会有什么影响? 2. “Hadoop free” binary 配置 `SPARK_DIST_CLASSPATH` 变量有哪些具体方法? 3. 启动 `spark-shell` 测试时连接不上Master节点该如何解决? 4. 不同版本的SparkScala安装时有什么差异?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值