大数据及Hadoop的概述

本文介绍了大数据处理中的关键框架与工具,包括HDFS、Hbase、Kafka、Mapreduce、storm、spark等,涵盖了数据存储、计算及辅助类工具。同时,概述了Hadoop作为分布式数据处理框架的核心组件及其工作原理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、大数据存储和计算的各种框架即工具

  1.存储:HDFS:分布式文件系统

        Hbase:分布式数据库系统

        Kafka:分布式消息缓存系统

  2.计算:Mapreduce:离线计算框架

        storm:实时流式计算

        spark:离线批处理/实时流处理计算框架(MR的二次封装)

  3.辅助类工具:hive:数据仓库工具

           flume:数据采集工具

           sqoop:数据迁移工具

 

二、大数据应用场景:

  典型应用:公司运营情况 =>典型网站:CNZZ、数据专家、友盟

  电商广告推荐系统:淘宝、京东、苏宁

    大量基于算法模型的运算,得出各种推荐结论

  天气预报等。。。

 

三、Hadoop的概述

  Hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机,每台计算机都提供本地计算和存储。该库本身不是依靠硬件来提供高可用性,而是设计用于检测和处理应用层的故障,从而在计算机集群之上提供高可用性服务,每个计算机都可能容易出现故障。

  Hadoop中单个核心组件:

    分布式文件系统:HDFS =>实现存储在多台服务器之上

    分布式运行编程框架:Mapreduce=>实现在很多太机器的分布式并行计算框架

    分布式资源调度平台:Yarn=>帮助我们调度大量MR任务,并合理分配运算资源

转载于:https://www.cnblogs.com/HelloBigTable/p/10578354.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值