对于Hadoop和Spark的一些浅显认识

理解Hadoop & Spark Hadoop Spark 1. Spark与Hadoop的关系 2. Spark的特点 3. Spark架构&工作流程 名词解释 运行过程 补充Job,Stage,Task的关系 DAG和RDD是什么 RDD的相关操作(creation, transformation, action) 开发者需要做哪部分工作 Hadoop 在大数据的背景下,我们需要分布式数据存储和处理的工具,来解决一些现实问题(如:基础设施崩溃(hardware broken/network failure 阅读详情
Spark和Hadoop的关系
  • Spark是一种内存计算框架(包含迭代式计算、DAG【有向无环图】计算、流式【streaming】计算,图【GraphX】计算等),与Hadoop的MapReduce是竞争关系,但效率比MapReduce高很多。Hadoop的MapReduce和Spark是一种并行的概念,两者都是计算框架。Spark通过lineage(血缘)这一核心思想实现了基于内存的轻量容错机制,取代了MapReduce的硬盘数据冗余。

  • Hadoop他就像是一个操作系统:
    (1)存储有HDFS,相当于Linux下的ext3,ext4存储文件系统
    (2)资源调度有YARN,相当于Linux下的进程调度和内存分配模块
    (3)计算引擎有内置的MapReduce(他是运行与YARN之上的)。而Spark的运行需要外部的资源调度系统来支持,他也支持多种资源调度系统(都是分布式部署的),主要有:Standalone Deploy mode、Amazon EC2、Apache Mesos、Hadoop YARN

  • Spark可以运行于Hadoop之上(用Hadoop的HDFS作为存储文件系统,用Hadoop的YARN作为资源调度系统),但是Spark也可以完全脱离Hadoop,比如用red hat的Gluster FS作为存储文件系统,用Apache Mesos作为资源调度系统。也就是说,Spark并不完全是属于Hadoop生态圈的。
    但从目前来看,Spark主要还是依哥Hadoop的应用,还是跑在Hadoop之上。

  • Spark能够应用于Spark SQL(SQL接口)、Spark Streaming(流计算)、MLlib(机器学习)、GraphX(图计算)领域
Hadoop
  • Hadoop解决了大数据的可靠存储和在要求时间内进行并行分布式处理的问题

  • HDFS(Hadoop Distributed File System),在由普通PC

Spark快速入门系列(一)了解Spark 与Spark的简单使用 文章目录1.Spark概述1.1. Spark是什么1.2. Spark的特点(优点)1.3. Spark组件1.4. Spark和Hadoop的异同2.Spark集群的搭建2.1. Spark 集群结构2.2. Spark 集群搭建2.3. Spark 集群高可用搭建2.4. 第一个应用的运行3.Spark入门3.1. Spark shell 的方式编写 WordCount3.2. 读取 HDFS 上的文件3.3. 编写独立应用提交 Spark 任务 1.Spark概述 目标 Spark 是什么 ? Sp 阅读详情

相关推荐

Ubuntu14.04下单机版Spark的部署

在写本篇博客之前,我也是查阅了许多资料,从官方文档到国内外多名网友的教程,但他们写的不是那么的具体,以至于在实际部署的时候遇到了好几个麻烦,浪费了很多时间,但这样一来二去也算是对Spark有了一个比较浅显的初步认识,因祸得福了吧。 废话不多说了,直接上干货。 本博文所使用的系统为Ubuntu 14.04 64位 安装 安装JDK,这一步我在这里就不再赘述了,想必稍微有点开发经验的朋友都早已配置

predict_wise的博客 3450

Windows 11下Dify安装部署实战指南

本文详细介绍在Windows 11环境下部署开源LLM应用开发平台Dify的完整流程。涵盖环境准备(WSL 2启用、Docker Desktop安装配置)、源码获取、Docker容器化部署、数据库初始化、服务启动验证等核心步骤。包括环境变量配置、性能优化、安全加固、端口冲突解决、数据库连接故障排查等关键技术要点。为开发者提供从零到一的Dify本地化部署实战指南

weixin_44269410的博客 853

从按下开机键到进入系统:深入主板“后台”,揭秘Super I/O芯片的上电时序与BIOS交互

本文深入探讨了Super I/O芯片(SIO)在电脑启动过程中的关键作用,详细解析了其架构设计、上电时序与BIOS交互机制。通过分析SIO的多功能集成控制器特性,包括低速I/O管理、硬件监控和电源管理,揭示了从按下电源按钮到系统初始化的精密硬件协作过程。文章还提供了常见问题的调试方法,为硬件工程师和嵌入式开发者提供了实用参考。

weixin_27014595的博客 134

MAC 青花瓷(Charles)爪机HTTPS 抓包

前段时间跟之前的产品小姐姐聊天,小姐姐说开发让她抓包帮忙看下数据,然而自己又不会,那就来写一篇简易版的教程 冲冲冲! 手上只有mac电脑跟iPhone手机,只做苹果手机的抓包,android7.0以上版本也没法通过正常的抓htts的包,让安卓开发装个后门吧,不是安卓开发并不知道是啥,连上USB之后访问chrome://inspect/#devices就能很简单的抓包 一、准备工具等 青花瓷...

Promise的博客 1619

2025-08-19利用opencv检测图片中文字及图片的坐标

该代码实现了图片中中文文本的检测与位置计算功能。主要使用CnOcr库进行OCR识别,结合OpenCV和PIL库处理图像。功能包括:1)检测图片中的中文文本及位置坐标;2)计算每个文本的像素宽度和高度;3)在原图上绘制文本边界框并标注识别结果。代码通过put_chinese_text函数解决中文显示问题,最终输出各文本内容、坐标位置及尺寸信息。适用于需要获取图片中文字精确位置的应用场景。

m0_58149406的博客 397

【LaTex】3.5 数据分析

简述了LaTex柱状图、饼图、折线图的画法。

你的指尖有改变世界的力量 5891

Win7/10/11文件拖拽导致资源管理器闪退问题

最近老是遇到把文件从资源管理器拖动到微信或者浏览器时,资源管理器直接闪退的问题,一开始在公司遇到了还以为是电脑配置太低,直到被封闭在家办公,发现自己的高级电脑也有这个问题,那就来了解了解问题是出在什么地方把。

Nicer_feng's blog 1万+

AI绘画与医疗可视化:用AI生成医学插图的实践

医疗可视化是医学教育、临床沟通和学术研究的核心工具。传统医学插图依赖手工绘制或专业3D建模,存在制作周期长、成本高、更新迭代慢等问题。随着深度学习技术的发展,AI绘画工具(如Stable Diffusion、DALL-E)展现出强大的图像生成能力,但医疗领域对插图的解剖准确性、标注规范性和语义完整性有极高要求,通用AI模型难以直接应用。本文聚焦AI技术与医疗领域的交叉创新,系统阐述如何通过数据预处理、模型定制化训练和后处理校验,构建符合医疗标准的插图生成系统。

大模型应用工坊 1789

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

上一篇: Ubuntu14.04下单机版Spark的部署
下一篇: 在Hadoop YARN之上配置Spark集群(一)
predict_wise
博客等级 码龄12年 13粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值