BIG BOSS的博客

基于Spark的电影推荐系统 项目架构 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1or0zmTg-1576498521313)(D:\data\Spark\jiagou.png)] 组件版本及配置 名称 版本 Hadoop 2.8.5 Hive 2.1.0 Spark 1.6.3 Kafka 2.10_0.8.21 MariaD...

基于Spark的电影推荐系统 项目架构 组件版本及配置 名称 版本 Hadoop 2.8.5 Hive 2.1.0 Spark 1.6.3 Kafka 2.10_0.8.21 MariaDB(Mysql) 5.5.64 Scala 2.10.6 Java 1.8.0_25 Zookeeper 3.4.12 Hadoop配置 core-site.xm...

指定jdbc driver 首先你得找driver的jar包，放在自己知道的路径下，然后运行任务用下面这条指令 spark-submit --jars /opt/testfiles/mariadb-java-client-2.2.1.jar --driver-class-path /opt/testfiles/mariadb-java-client-2.2.1.jar --conf spark.e...

设置参数，训练找出最佳model package main.scala.com.hopu.myals import org.apache.spark.mllib.recommendation.{ALS, MatrixFactorizationModel, Rating} import org.apache.spark.{SparkConf, SparkContext} import org.ap...

Spark之RDD编程 1.编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的...

Spark-RDD 1.RDD概述 RDD是Spark的基石，是实现Spark数据处理的核心抽象。那么RDD为什么会产生呢？ Hadoop的MapReduce是一种基于数据集的工作模式，面向数据，这种工作模式一般是从存储上加载数据集，然后操作数据集，最后写入物理存储设备。数据更多面临的是一次性处理。 MR的这种方式对数据领域两种常见的操作不是很高效。第一种是迭代式的算法。比如机器学习中ALS、凸优...

Spark介绍 1.概述 Spark是一种快速、通用、可扩展的大数据分析引擎，于2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。 Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLib、Spar...