许博文的专栏

IntelliJ IDEA 2016.3 Build #IU-163.7743.44, built on November 18, 2016 Subscription is active until November 23, 2017 JRE: 1.8.0_112-release-408-b2 x86_64 JVM: OpenJDK 64-Bit Server VM by JetBrains

我们在intellij Idea中新建scala工程， 具体代码import java.sql.{DriverManager, PreparedStatement, Connection}import org.apache.spark.{SparkContext, SparkConf}/** * Created by xubowen on 2017/4/9. */object RDD

sparksql语法，读json--样本[hadoop@node1 resources]$ pwd/home/hadoop/spark-1.5.2-bin-hadoop2.6/examples/src/main/resources[hadoop@node1 resources]$ cat people.json{"name":"Michael"}{"name":"Andy", "ag

Spark安装部署安装Scala环境wget https://downloads.lightbend.com/scala/2.12.1/scala-2.12.1.tgz tar -zxvf scala-2.12.1.tgz mv scala-2.12.1 /home sudo vim /etc/profile export JAVA_HOME=/usr/lib/jvm/java-7-open

Spark 分析Json数据存入Mysql 遇到的坑折腾了两天，终算是弄好了，入的坑不计其数，但是也要数一数。坑（一） 之前搭建好了spark，就是简单的wordcount一下，成功了也就没在意。 这几天重新拾起来，一上来就记得 –master spark://master:55555 这个55555端口其实是我的hdfs的端口，结果给记成spark群集的了，哇，很难受，一直卡住 说什么m

报错如下：17/07/10 00:50:18 INFO receiver.BlockGenerator: Pushed block input-0-149961901660017/07/10 00:50:19 INFO scheduler.JobScheduler: Added jobs for time 1499619019000 ms17/07/10 00:50:20 INFO schedu

Hello Spark_WIFIProbe_Analyse基于Hadoop，Spark的WIFI探针大数据分析。使用Scala语言 版本2.11.0导入数据库，tanzhen 把lib包内容放入/home/example中//分析数据spark-submit --master spark://master:7077 --name DataAnalyse --class D