spark
关注
分享
扫一扫
我行其野&芃芃其麦
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark在Windows下的环境搭建
Spark在Windows下的环境搭建 本文主要是讲解Spark在Windows环境是如何搭建的 一、JDK的安装 1、1 下载JDK 首先需要安装JDK，并且将环境变量配置好，如果已经安装了的老司机可以忽略。JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，去Orac...转载 2019-09-02 11:00:03 · 463 阅读 · 0 评论 -
Spark从零到一 （一）Spark简介
Spark简介 一、官网介绍 1、什么是Spark 官网地址：http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是...原创 2019-09-02 14:04:54 · 864 阅读 · 0 评论 -
Spark从零到一 （二）Spark之RDD
Spark之RDD 一、RDD的概述 1.1 什么是RDD？ RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点...原创 2019-09-02 15:31:22 · 271 阅读 · 0 评论 -
Spark从零到一 （三）Spark之广播、共享、缓存
Spark之广播、共享、缓存 一、概述 在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spar...原创 2019-09-02 17:41:36 · 581 阅读 · 0 评论 -
Spark从零到一 （四）Spark API In Java8
Spark API In Java8 一、map、flatMap map十分容易理解，他是将源JavaRDD的一个一个元素的传入call方法，并经过算法后一个一个的返回从而生成一个新的JavaRDD。 map 示例代码 List<Integer> list = Arrays.asList(1, 2, 3); System....原创 2019-09-03 10:28:54 · 333 阅读 · 0 评论 -
Spark从零到一 （五）Spark 调优
Spark 调优 正文 摘抄自：https://tech.meituan.com/spark-tuning-basic.html 前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学...转载 2019-09-03 10:38:26 · 186 阅读 · 0 评论