
Spark
山谷來客
君子生非異也,善假於物也。
展开
-
Spark1.4.1单机版安装配置
版本信息scala-2.11.7.tgzjdk-8u65-linux-x64.gzspark-1.4.1-bin-hadoop2.6.tgzIP: 192.168.31.157查看IP的语法为:[root@localhost java]# ifconfig -a步骤0:创建目录[root@localhost ~]# mkdir /usr/java[root@loca原创 2015-12-31 17:10:10 · 1137 阅读 · 0 评论 -
hadoop2.6与hbase1.1.2单机版安装配置
环境:jdk版本:1.8(已完成安装及环境配置,路径:/usr/java/jdk1.8.0_65)hadoop版本:2.6.0spark版本:1.4.1 0、创建目录[root@localhost ~]# mkdir /usr/local/hadoop1、下载hadoophadoop-2.6.0.tar.gz2、解压tar包 [root@原创 2016-01-05 19:55:00 · 2541 阅读 · 0 评论 -
scala-spark版本xgboost包使用
// XGBOOST测试//调用形式// /opt/app/spark-1.6.1/bin/spark-shell --master yarn-client --conf spark.executor.extraJavaOptions='-XX:PermSize=1024M' --driver-memory 6g --num-executors 80 //(续上) --e原创 2016-12-01 09:37:42 · 14441 阅读 · 5 评论 -
Windows下单机安装scala-Spark开发环境
part1:版本信息(1)系统:Win7或Win10(2)jdk版本版本:1.7.0_60(3)spark版本 spark-1.6.1-bin-hadoop2.6.tgzhttp://apache.fayea.com/http://apache.fayea.com/spark/spark-1.6.1/(4)hadoop版本hadoop-2.6.0.tar.g原创 2017-04-23 23:26:25 · 3169 阅读 · 0 评论