Hadoop与Spark介绍

原创 于 2019-06-12 14:43:45 发布 · 350 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了大数据的基本概念，包括其海量、多维、快速增长和价值密度低的特点。接着深入探讨了Hadoop的生产背景、生态体系架构、主要组件如HDFS和YARN的架构及其资源调度模式。同时，对Spark的性能、架构模式进行了对比和解析，提供了一种简单的架构解决方案。最后，提到了Hadoop的搭建过程和关键配置文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hadoop与Spark介绍

大数据概念

1.海量的
2.规模大的，维度多的
3.爆发性增长的
4.价值密度低、价值量大

Hadoop

1.Hadoop生产背景

在这里插入图片描述

2.Hadoop生态体系架构

1.整体架构在这里插入图片描述
2.组件介绍在这里插入图片描述
3.zookeeper架构

在这里插入图片描述

Hadoop架构

Hadoop组件

在这里插入图片描述

Hadoop相关术语

在这里插入图片描述

HDFS架构

在这里插入图片描述

YARN架构

在这里插入图片描述

YARN资源的几种调度模式

1.先进先出
在这里插入图片描述

2.百分比调度模式
在这里插入图片描述
3.公平调度
在这里插入图片描述

Spark介绍

性能对比

在这里插入图片描述

模式介绍

在这里插入图片描述

架构介绍

在这里插入图片描述

架构模式

在这里插入图片描述

在这里插入图片描述

简单架构解决方案

在这里插入图片描述

Hadoop产品

在这里插入图片描述
在这里插入图片描述

Hadoop搭建

  1. hadoop推荐搭建模式：Ambari+HDP模式
  2. Hadoop搭建重要文件：
    core-site.xml 全局参数
    hdfs-site.xml hdfs参数
    mapred-site.xml mapreduce参数
    yarn-site.xml yarn参数
    capacity-scheduler.xml yarn计算队列
  3. 50070 hdfs的界面
  4. 8088 yarn界面
  5. 在这里插入图片描述
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值