从零开始系列之spark与mongodb连接的安装记录_java方向（1）

最新推荐文章于 2024-09-16 22:55:15 发布

原创最新推荐文章于 2024-09-16 22:55:15 发布 · 455 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #mongodb #连接器

从零开始系列专栏收录该内容

2 篇文章

订阅专栏

本文详细记录了在Ubuntu 16.04上安装Spark 2.1.0、MongoDB 3.4.9以及连接器的过程。内容包括前置条件，如64位操作系统、Java 1.8.0_144、Scala 2.12.1的安装，以及安装MongoDB时可能遇到的问题和解决方法。此外，还介绍了如何启动和停止Spark，以及使用特定命令启动Spark的worker来配合MongoDB连接器工作。

本文不涉及hadoop

1、前置条件

64位操作系统：ubuntu16.04LTS

java： jdk 1.8.0_144 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

scala：2.12.1 下载地址：https://downloads.lightbend.com/scala/2.12.1/scala-2.12.1.tgz

spark：spark-2.1.0-bin-hadoop2.7 下载地址：https://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz

mongodb：3.4.9 安装方式 http://blog.youkuaiyun.com/xsj_blog/article/details/71106133?locationNum=7&fps=1

2、步骤

首先安装mongodb，在执行“sudo apt-get update”命令时出错：

     Error in `xxx': double free or corruption (fasttop)      *****/libappstream.so.3****

 
           最后使用下面命令解决问题
     sudo apt-get purge libappstream3
 
然后将jdk、scala、spark解压到某个路径下，如“/home/xx/Downloads/”，使用命令 

        vi /etc/profile
    //打开profile文件，并在文件末尾加上
      export JAVA_HOME=/home/xx/Downloads/jdk1.8.0_144
      export JRE_HOME=${JAVA_HOME}/jre
      export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
      export PATH=${JAVA_HOME}/bin:$PATH
      export SCALA_HOME=/home/xx/Downloads/scala-2.12.1
      export PATH=${SCALA_HOME}/bin:$PATH
      export SPARK_HOME=/home/xx/Downloads/spark-2.1.0-bin-hadoop2.7
      export PATH=${SPARK_HOME}/bin:$PATH
    //保存并退出，使用
      source /etc/profile
    //命令使刚才的配置生效。依次输入
      java -version
      scala -version
    //看看能否正确显示对应的版本号，输入
      ${SPARK_HOME}/sbin/start-master.sh 
    //启动spark master，查看日志或者在浏览器中输入
      http://[spark服务器地址]:8080/
    //看是否启动成功（日志路径：${SPARK_HOME}/logs/。我在这里遇到了日志不能写入的问题，解决方法是手工创建logs目录，并用chmod 777给该文件夹开通权限）。

 
关闭spark命令${SPARK_HOME}/sbin/stop-all.sh
要想使spark mongodb connetor工作，还需要向spark中附加一个worker，命令如下${SPARK_HOME}/bin/spark-class org.apache.spark.deploy.worker.Worker spark://[ip]:[port]
例如：${SPARK_HOME}/bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.67.129:7077