Spark---------------------spark框架的知识点及使用

本文介绍了Apache Spark的处理数据思想,包括其作为统一分析引擎的特性,与MapReduce的区别,以及Spark分析数据的三个步骤。详细讲解了SparkSession、RDD的概念及创建方式,强调了RDD函数优化,如避免使用groupByKey,以及如何根据需求调整RDD分区。还讨论了Spark Standalone集群的安装部署,并概述了Spark应用的运行过程。

1.spark框架是如何处理数据的

1.hadoop MapReduce 框架
并行计算的思想、分而治之的思想

2. scala集合高阶函数
处理数据的思想:
将要分析的数据放到集合中去,然后调用集合的高阶函数去处理数据

2.spark是什么

Apache Spark™ is a unified analytics engine for large-scale data processing.
统一分析引擎为海量数据处理
统一:什么样的数据都能处理分析,什么类型的数据都可以处理,实时,离线,流式都可以。

MapReduce
map,reduce函数
将分析的结果放在磁盘中,并且后续进行数据分析的时候,再从磁盘读取,以此往返。。。

Runs Everywhere

  • spark要处理的数据在哪里
    hdfs/hive/HBASE/ORC/parquet/csv/tsv/jdbc/redis/mangdb/ES/。。
    spark 能从哪里读数据,就能往哪里写数据

  • spark程序运行在哪里
    本地模式
    集群模式

yarn ,standlone, mesos cluster

3.spark分析数据的过程(3步骤)

第一步.数据的读取
将要处理的数据封装到一个RDD中(类别scala中list列表)
val inputRDD

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值