leader321的博客

Spark 优势 速度快 基于内存数据处理，比MR快100个数量级以上（逻辑回归算法测试） 基于硬盘数据处理，比MR快10个数量级以上 易用性 支持Java、Scala、Python、R语言 交互式shell方便开发测试 通用性 一栈式解决方案：批处理、交互式查询、实时流处理、图计算及机器学习 多种运行模式 YARN、Mesos、EC2、Kubernetes、Standalone、Local Spark技术栈 Spark Core 核心组件，分布式计算引擎 Spark SQL 高性能的基于Hadoop的S

关于如何使用Pregel（分布式图计算框架），这里我们可以用一个小例题来说明。 需求说明 求从0到任意点的最短路径（SSSP） 实现思路 初始化 Vertex 的 Message 为最大值 将源点（0）的 Message 设为 0 每步每个节点将自己目前的 Message 加上边的权值发送到相邻节点，每个节点聚合出自身所有消息的最小值 当某一步当中一个节点Message 值无变化，该节点停止迭代 具体实现 val spark: SparkSession = SparkSession.builder()

创建项目 Maven–>NEXT New Project:Groupld :cn.kgc.hive Artifactld:spark_hive->NEXT->NEXT->Finsh Pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSc