许博文的专栏

IntelliJ IDEA 2016.3 Build #IU-163.7743.44, built on November 18, 2016 Subscription is active until November 23, 2017 JRE: 1.8.0_112-release-408-b2 x86_64 JVM: OpenJDK 64-Bit Server VM by JetBrains

报错如下：17/07/10 00:50:18 INFO receiver.BlockGenerator: Pushed block input-0-149961901660017/07/10 00:50:19 INFO scheduler.JobScheduler: Added jobs for time 1499619019000 ms17/07/10 00:50:20 INFO schedu

hadoop hive安装部署进入hadoop用户目录 下载hive wget http://mirrors.cnnic.cn/apache/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz hadoop-1.2.1.tar.gz 解压hive tar -zxvf apache-hive-1.2.1-bin.tar.gz 修改环境变量 vim /

Spark 分析Json数据存入Mysql 遇到的坑折腾了两天，终算是弄好了，入的坑不计其数，但是也要数一数。坑（一） 之前搭建好了spark，就是简单的wordcount一下，成功了也就没在意。 这几天重新拾起来，一上来就记得 –master spark://master:55555 这个55555端口其实是我的hdfs的端口，结果给记成spark群集的了，哇，很难受，一直卡住 说什么m

Spark安装部署安装Scala环境wget https://downloads.lightbend.com/scala/2.12.1/scala-2.12.1.tgz tar -zxvf scala-2.12.1.tgz mv scala-2.12.1 /home sudo vim /etc/profile export JAVA_HOME=/usr/lib/jvm/java-7-open

废话不多说，宝宝心里苦！！！！初次体验博主就没有使用虚拟机，博主比较土豪，三台腾讯云，搭建四天都失败，Failed to start the agentjava.net.BindException: Cannot assign requested address at java.net.PlainSocketImpl.socketBind(Native Method)

sparksql语法，读json--样本[hadoop@node1 resources]$ pwd/home/hadoop/spark-1.5.2-bin-hadoop2.6/examples/src/main/resources[hadoop@node1 resources]$ cat people.json{"name":"Michael"}{"name":"Andy", "ag

Hadoop学习心得修改root用户登录sudo passwd root sudo vi /etc/ssh/sshd_config 将PermitRootLogin这一项改为yes sudo service ssh restart安装JDK JAVA环境配置apt-get install openjdk-7-jdkvim /etc/profileexport JAVA_HOME=/usr/l

我们在intellij Idea中新建scala工程， 具体代码import java.sql.{DriverManager, PreparedStatement, Connection}import org.apache.spark.{SparkContext, SparkConf}/** * Created by xubowen on 2017/4/9. */object RDD

Hello Spark_WIFIProbe_Analyse基于Hadoop，Spark的WIFI探针大数据分析。使用Scala语言 版本2.11.0导入数据库，tanzhen 把lib包内容放入/home/example中//分析数据spark-submit --master spark://master:7077 --name DataAnalyse --class D