山谷来客

版本信息scala-2.11.7.tgzjdk-8u65-linux-x64.gzspark-1.4.1-bin-hadoop2.6.tgzIP: 192.168.31.157查看IP的语法为：[root@localhost java]# ifconfig -a步骤0：创建目录[root@localhost ~]# mkdir /usr/java[root@loca

//  XGBOOST测试//调用形式//  /opt/app/spark-1.6.1/bin/spark-shell --master yarn-client --conf spark.executor.extraJavaOptions='-XX:PermSize=1024M' --driver-memory 6g --num-executors 80 //(续上)  --e

case1:List()到DataFrame()的简单转化//step1:我们首先创建一个case classcase class resultset(masterhotel:Int,quantity:Double,date:String,rank:Int,frcst_cii:Double,hotelid:Int)//step2//初始化resu

package Cii_Forecastimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.hive.HiveContext/**  * Created by yuan.min on 2016/9/8.  */object Cii_Forecast_main

scala生成jar包步骤：       注1：要编译通过后，才能生成jar包；      注2：如果用到了其它模块，如机器学习库、hive库等，要添加相应的jar包，完成编译，再生成jar包  。 step1:step2:step3:step4:step5:step6:

part1：版本信息（1）系统：Win7或Win10（2）jdk版本版本：1.7.0_60（3）spark版本 spark-1.6.1-bin-hadoop2.6.tgzhttp://apache.fayea.com/http://apache.fayea.com/spark/spark-1.6.1/（4）hadoop版本hadoop-2.6.0.tar.g