光于前裕于后的博客

Spark版本：2.4.0+cdh6.3.1Spark-Windows版本：spark-2.4.0-bin-hadoop2.7WinUtils版本：hadoop-2.7.1Python版本：3.7.2Java版本：1.8.0_121Scala版本：2.11.8 按需安装目录前言1 使用PyCharm开发PySpark直连Hive metastore1.1 下载相关包1.2 配置环境变量1.3 设置spark日志级别1.4 启动spark-sql1.5 创建测试表并插入数据1.6 安装相关包1.

环境版本： ·Spark 2.0 ·Scala 2.11.8  在网上搜索Spark MLlib和Spark Streaming结合的例子几乎没有，我很疑惑，难道实现准实时预测有别的更合理的方式？望大佬在评论区指出。本篇博客思路很简单，使用Spark MLlib训练并保存模型，然后编写Spark Streaming程序读取并使用模型。需注意的是，在使用Spark MLlib之前我使用了python查看分析数据、清洗数据、特征工程、构造数据集、训练模型等等，且在本篇中直接使用了python构造的数据集。

环境版本： Scala 2.11.8; Kafka 0.10.0.1; Spark 2.0.0如需Scala 2.10.5; Spark 1.6.0; Kafka 0.10.0.1版本请看这篇：Flume+Kakfa+Spark Streaming整合import org.apache.kafka.common.serialization.StringDeserializerimpor...

Spark SQL前身是Shark，由于Shark对于Hive的太多依赖制约了Spark的发展，Spark SQL由此产生。Spark SQL只要在编译的时候引入Hive支持，就可以支持Hive表访问，UDF，SerDe，以及HiveQL/HQL

先找下spark配置文件在哪[root@ws1dn3 ~]# whereis sparkspark: /etc/spark[root@ws1dn3 ~]# cd /etc/spark/[root@ws1dn3 spark]# lltotal 8drwxr-xr-x 3 root root 4096 Oct 8 11:16 2.4.2.0-258lrwxrwxrwx 1 root roo

进来看！

整体思路：对原始数据提取特征后，使用KMeans做聚类，把元素明显少的类视为异常类，类中的用户视为异常用户，打上标签，之后用随机森林进行分类，训练出模型后对新数据进行分类，找出异常用户。

详见注释package com.beagledata.sparkimport org.apache.spark.{SparkConf, SparkContext}/** * 分层抽样 * * Created by drguo on 2017/8/21. * blog.youkuaiyun.com/dr_guo */object PCSStratifiedSampling { val c

方法有很多，现提供一种比较简单的方法。

所用数据：http://download.youkuaiyun.com/download/dr_guo/9946656环境版本：Spark 1.6.1; Scala 2.10.4; JDK 1.7

环境版本：Scala 2.10.5; Spark 1.6.0; Kafka 0.10.0.1; Flume 1.6.0

1.赋予drguo用户相应的权限2.KDC中创建drguo用户并导出相应的keytab文件[root@bigdata28 ~]# kadmin.local Authenticating as principal drguo/admin@AISINO.COM with password.kadmin.local: addprinc drguo/bigdata28WARNING...

需提前安装jdk、scala1.创建新项目2.增加Maven3.修改pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4

scala版本问题，之前用的2.11.x，换成2.10.x后就没问题了

Spark 2.0预览版已出，本文将带你浏览下这个2.0到底有啥流逼的地方。在正式发布之前，你可以 1. github下载自己编译 https://github.com/apache/spark 2. 官网最下方有个很小的连接 3. https://databricks.com/try-databricks 可以创建预览版集群 本次大版本更新包含三个主题，Easier，Faster，

我们都知道Spark支持在yarn上运行，但是Spark on yarn有分为两种模式yarn-cluster和yarn-client，它们究竟有什么区别与联系？阅读完本文，你将了解。　　Spark支持可插拔的集群管理模式(Standalone、Mesos以及YARN )，集群管理负责启动executor进程，编写Spark application 的人根本不需要知道Spark用的是什么集群管

在用MR或Spark处理较大的csv文件时，经常会遇到这么一个问题，csv文件的第一行往往是列名，怎么办呢？guo@guo:~$ sed 1d dual.txt > noheader.txt用sed 1d就可以把dual.txt文件的第一行去掉，>是指将前面的命令的结果覆盖到noheader.txt，>>就是追加了。还不懂可以看一下我写的shell基础。

我们都知道Spark比Hadoop的MR计算速度更快。到底快多少呢？我一直比较疑惑，会有官网说的那么夸张吗。今天就拿基于Spark的Spark SQL和基于MR的Hive比较一下，因为Spark SQL也兼容了HiveQL，我们就可以通过运行相同的HiveQL语句，比较直观的看出到底快多少了。Spark SQL只要在编译的时候引入Hive支持，就可以支持Hive表访问，UDF，Ser...

突然有个想法，R只能处理百万级别的数据，如果R能运行在spark上多好！搜了下发现13年SparkR这个项目就启动了，感谢美帝！1.你肯定得先装个spark吧。看这：Spark本地模式与Spark Standalone伪分布模式2.你肯定得会R吧。看这：R语言入门3.启动SparkR就可以了guo@drguo:/opt/spark-1.6.1-bin-hadoop2.6$ ./bin/sparkR #这样直接运行应该是默认在本地运行，要在集群上运行应该和spark-shell一样，后面加点参数 --

红字部分来源于：董的博客目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算

可以写UDAF，但导jar包啥的挺麻烦的，我找了个简单方法，两个函数搞定。需求是这样的，统计出同一用户在同一地点会去哪些商店，商店以':'隔开。（第一列用户id，第二列商店id，第三列地区id，第四列日期）spark-sql> select * from test;1027765 4822 172 201510281027765 4822 172 20151026881482

在ubuntu 下载R的reshape包的时候报了以下的错：Error in library.dynam(lib, package, package.lib) :  shared object ‘plyr.so’ not foundERROR: lazy loading failed for package ‘reshape’* removing ‘/opt/spark-1.6

将Spark SQL处理的结果存入MYSQL时出现了这个错，查了半天发现这是spark1.6.1的bug。真是日了狗了！具体的执行命令为：/opt/apps/spark-1.6.1-bin-hadoop2.6/bin/spark-submit –master yarn –deploy-mode client –driver-memory 4g –num-executors 2 –executor-m

16/06/27 19:36:34 WARN Utils: Service ‘sparkDriver’ could not bind on port 0. Attempting port 1. 16/06/27 19:36:34 WARN Utils: Service ‘sparkDriver’ could not bind on port 0. Attempting port 1. 16/06

java.sql.SQLException: No suitable driver found for jdbc:mysql://ip:3306/xx　　感觉很奇怪，我在启动作业的时候加了Mysql驱动啊在，怎么会出现这种异常呢？？经过查找，发现在–jars参数里面加入Mysql是没有用的。通过查找，发现提交的作业可以通过加入–driver-class-path参数来设置driver的classpa

spark的本地模式类似于hadoop的单机模式，是为了方便我们调试或入门的。1.先去官网下载下来http://spark.apache.org/downloads.html，不要下错了，下载pre-built（这是已经编译好了，产生了二进制文件的）for 你的hadoop版本。

Hadoop Spark学习小结[2014版]HadoopHadoop社区依然发展迅速，2014年推出了2.3，2.4, 2.5 的社区版本，比如增强 Resource Manager HA, YARN Rest API, ACL on HDFS, 改进 HDFS 的 Web UI…Hadoop Roadmap 根据我的观察，主要更新在Yarn，HDFS，而Mapreduce几乎停滞了