Spark
关注
分享
扫一扫
、Jamson
微信:donegals
展开
-
Spark系列之Java版WordCount
Spark系列之Java版WordCount这几天开始入门spark，代码方面写的不好望谅解本来想用java的lambda表达式写简略一点的，但是初期也不是很懂，慢慢改进package top.it1002.scala.wordcount;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPai...原创 2018-12-01 18:09:08 · 636 阅读 · 0 评论 -
Spark给key加随机尾串解决数据倾斜问题（Java/Scala版）
Spark给key加随机尾串解决数据倾斜问题（Java/Scala版）通过给key加随机尾串，使得相同key加上随机尾串后的hash值不相等，在聚合操作的时候实现进入不同的分区，实现数据倾斜问题解决方式之一详情请看代码注释一、引入maven依赖 <!-- core --> <dependency> <group...原创 2019-04-10 00:16:33 · 920 阅读 · 0 评论 -
Spark基于ALS推荐算法实现商品推荐实战Demo(Java版/Scala版)
Spark基于ALS推荐算法实现商品推荐实战Demo(Java版/Scala版)一、数据集准备1,1,51,2,3.51,4,1.21,6,02,1,4.52,2,3.62,3,4.93,3,5.03,4,2.03,5,5.03,6,1.94,2,3.34,5,4.64,6,05,2,2.55,3,4.25,4,3.7二、代码部分Java版本ALSRe...原创 2018-12-18 13:41:48 · 5080 阅读 · 1 评论 -
SparkSQL随机DataFrame/DataSet数据源query查询用户数据（Java版/Scala版）
SparkSQL随机DataFrame/DataSet数据源query查询用户数据（Java版/Scala版）SparkSQL入门小demo，主要操作是构造DataFrame/Dataset，以及通过它们去执行Sql一、以下为Java版本的DemoJava版本（DataSourceJava.java、App.java）DataSourceJava.javapackage top.it10...原创 2018-12-11 22:19:51 · 759 阅读 · 0 评论 -
Spark基于LogisticRegression逻辑回归实现英文垃圾邮件分类（Java版/Scala版）
Spark基于LogisticRegression逻辑回归实现英文垃圾邮件分类（Java版/Scala版）中英文邮件分词有所不同，若需要中文垃圾邮件分类请移步我上一篇博客Spark基于NaiveBayes朴素贝叶斯算法实现中文垃圾邮件分类实战（Java / Scala）此次测试的数据集大概格式如下：spam You'll not rcv any more msgs from the chat...原创 2018-12-17 23:43:17 · 1624 阅读 · 0 评论 -
Spark基于NaiveBayes朴素贝叶斯算法实现中文垃圾邮件分类实战（Java + Scala）
Spark基于NaiveBayes朴素贝叶斯算法实现中文垃圾邮件分类实战（Java + Scala）网上很少能找到Spark millib系列算法对纯中文垃圾邮件分类的demo，此Demo做了Java + Scala的混合调用，若迫切需要Java版本的可私信，有时间的时候我会写一个纯Java版本的。主要分为以下几个过程：一、数据集下载数据集来源于网络，具体地址我忘记了，所以分享在网盘，自...原创 2018-12-15 13:04:23 · 3465 阅读 · 2 评论 -
Spark系列之Scala/Java版Streaming-netcat-WordCount
Spark系列之Scala/Java版Streaming-netcat-WordCount一、引入maven依赖：&lt;?xml version="1.0" encoding="UTF-8"?&gt;&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:x原创 2018-12-09 22:11:02 · 305 阅读 · 0 评论 -
spark NaiveBayes朴素贝叶斯分类算法入门demo(Java版/Scala版)
spark NaiveBayes朴素贝叶斯分类算法入门demo(Java版/Scala版)一、Java版BayesJava.javapackage top.it1002.spark.ml;import org.apache.spark.SparkConf;import org.apache.spark.SparkContext;import org.apache.spark.ap...原创 2018-12-13 17:42:09 · 843 阅读 · 1 评论 -
spark Logistic回归算法入门demo(Java版/Scala版)
spark Logistic回归算法入门demo(Java版/Scala版)一、Java版LogisticRegressionWithSGDJava.javapackage top.it1002.spark.ml;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import o...原创 2018-12-13 13:27:50 · 1294 阅读 · 0 评论 -
Spark KMeans算法入门Demo（Java版/Scala版）
Spark KMeans算法入门Demo（Java版/Scala版）一、Java版本KmeansJavaDemo.javapackage top.it1002.spark.ml;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api...原创 2018-12-12 22:30:09 · 2103 阅读 · 1 评论 -
Spark系列之Scala版WordCount
Spark系列之Scala版WordCount该教程思路与我之前写的Java版本WordCount思路一样，但是对比起来，Scala的代码简洁很多，毕竟Spark是Scala语言写出来，而Scala又是Java的再封装化的脚本语言，所以自然会节省很多代码，具体还有很多知识点，需要我们慢慢去学习还是直接上代码，有不足的地方望谅解主要写了两种词频形式package top.it1002.s...原创 2018-12-01 19:29:58 · 1040 阅读 · 0 评论 -
Spark操作读取/写入json、csv、mysql的DataFrame(Java/Scala版)
Spark操作读取/写入json、csv、mysql的DataFrame(Java/Scala版)读取的数据源和存储数据的方式比较多，这里列举了这三种类型数据基本操作的demo测试数据随便都行，就简单的测试数据csv：","分隔的数据格式json：json数据，每行为一个json数据对象mysql：jdbc方式操作，将数据存取到库或从库读取详细信息请查看代码注释，点击这里与我交流...原创 2019-04-13 17:58:36 · 2204 阅读 · 0 评论