
大数据
vic868
这个作者很懒,什么都没留下…
展开
-
spark集群配置
说明:这个集群是基于hdfs的一个三个节点的集群配置 节点:192.168.128 nl01 ---master 192.168.1.2 nl02 --slave 192.168.1.3 nl03 --slave 一. 配置jdk scala 二. 配置zookeeper 三. 配置had原创 2016-05-02 15:37:09 · 408 阅读 · 0 评论 -
spark编译过程与实现
基本配置 配置jdk、scala 、maven 修改 make –distribution.sh 中的 #VERSION=$("$MVN" help:evaluate -Dexpression=project.version 2>/dev/null | grep -v "INFO" | tail -n 1) #SPARK_HADOOP_VERSION=$("$MVN" h原创 2016-05-02 15:35:49 · 332 阅读 · 0 评论 -
sbt配置
1. 下载sbt安装包 下载地址点这里。 2. 解压文件 tar zxvf sbt-0.13.9.tgz 3. 建立启动sbt的脚本文件 在./sbt目录下面新建文件名为sbt的文本文件 $ cd ./sbt $ vim sbt # 在sbt文本文件中添加如下信息: BT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadi转载 2016-09-29 08:27:41 · 1072 阅读 · 1 评论