duncan

下面讲一下linux上安装spark，以 Standalone Mode 安装 1）首先安装JDK 下载JDK：jdk-7u79-linux-x64.tar.gz  ，版本是1.7以上都行，解压 tar -zxvf jdk-7u79-linux-x64.tar.gz   然后配置 ~/.bashrc 增加export JAVA_HOME=/cdh/jdk1.7....

ecutor-memory 1g --executor-cores  2 注：/data/spark-1.4.0-bin-cdh4/为spark的安装路径 /data/spark-1.4.0-bin-cdh4/bin/spark-sql –help 查看启动选项 --master MASTER_URL           指定master url--executor-memory MEM          每个executor的内存，默认为1G--total-executor

下载源码进行编译，将hive，thriftserver打包进去才能够访问，详细配置步骤如下： 1、下载源码 2、下载Maven,并配置此配置简单，就略过 3、使用maven进行打包：打包命令： mvn -Pyarn -Dhadoop.version=2.3.0-cdh5.0.0 -Phive -Phive-thriftserver -DskipTests clean package 上面的hadoop.version可以根据自己的需要设置相应的版本 注：在

控制到指定的端口，我们可以自行设置，修改方法： 1、cd SPARK_HOME/sbin 2、vi start-master.sh  3、定位到下面部分内容： if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then  SPARK_MASTER_WEBUI_PORT=8080fi  4、修改上面的端口为其它可用端口就行  例子：我在start-master.sh 中指定

cd ~vim .bashrc 添加如下配置： export SCALA_HOME=/scala-2.11.6export PATH=$SCALA_HOME/bin:$PATH保存后，执行 . .bashrc (注意. .之间空格) 键入scala，进入scala命令行显示版本信息   

x64.tar.gz   然后配置 ~/.bashrc 增加export JAVA_HOME=/cdh/jdk1.7.0_79export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH source .bashrc 

[size=medium]1.参数选取当我们的代码写完，打好jar，就可以通过bin/spark-submit 提交到集群，命令如下：./bin/spark-submit \ --class --master \ --deploy-mode \ --conf = \ ... # other options \ [ap...

spark中可以通过spark sql 直接查询hive或impala中的数据， 一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql --master spark://master:7077 --total-executor-cores 10  --executor-memory 1g --executor-cores  2 注：/...

spark sql 能够通过thriftserver 访问hive数据，默认spark编译的版本是不支持访问hive，因为hive依赖比较多，因此打的包中不包含hive和thriftserver,因此需要自己下载源码进行编译，将hive，thriftserver打包进去才能够访问，详细配置步骤如下： 1、下载源码 2、下载Maven,并配置此配置简单，就略过 3、使...

spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法： 1、cd SPARK_HOME/sbin 2、vi start-master.sh  3、定位到下面部分内容： if [ "$SPA...

方法/步骤进入官网下载tar.gz文件  在安装目录解压chmod 755 scala-2.11.6.tgztar -xzvf scala-2.11.6.tgz 安装路径为/scala-2.11.6        配置环境变量cd ~vim .bashrc 添加如下配置： export SCALA_HOME=/scala-2.11.6expo...

mode \ --conf = \ ... # other options \ [application-arguments]一般情况下使用上面这几个参数就够用了--class: The entry point for your application (e.g. org.apache.spark.examples.SparkPi)--master: The master URL for the cluster (e.g. spark://23.