
spark
文章平均质量分 96
使用spark实现的
倏然希然_
CS
展开
-
ubuntu18.04安装spark(scala编程环境)
安装配置Hadoop请查看:ubuntu虚拟机中安装Hadoop全过程(单机分布方式+伪分布方式)*参考文章:ubuntu18.04安装spark(伪分布式)安装scala1. 下载地址:https://www.scala-lang.org/download/2.11.8.html2. 解压到自己的目录sudo tar zxvf scala-2.11.8....原创 2019-04-23 12:14:04 · 2685 阅读 · 0 评论 -
【大数据】PageRank网页排名图算法(MapReduce Java+Spark Scala)
实验环境:ubuntu 18.04hadoop 2.7.1JDK 1.8spark2.3.3scala 2.11.8目录一、实验原理二、用MapReduce实现PageRank三、用Spark实现PageRank一、实验原理1. 什么是PageRank PageRank是一种在搜索引擎中根据网页之间相互的链接关系计算网页排名的技术。 P...原创 2019-05-05 14:52:23 · 2611 阅读 · 0 评论 -
Eclipse下导出scala程序为jar包
在eclipse下直接导出只含有scala程序的项目时,会找不到主类。解决方法:在项目中创建一个java class,通过这个java class来调用scala的object代码:public class ScalaRunner { public static void main(String[] args) { PageRank.main(args);//Pag...原创 2019-05-05 14:58:16 · 1421 阅读 · 0 评论