Hadoop入门(简单搭集群)

本文介绍了大数据的基本概念,强调了Hadoop在处理海量数据存储和分析计算中的作用。详细讲述了Hadoop的发展历程,包括其源于Google的三篇论文,以及Hadoop的三大发行版本。同时,文章详细解析了Hadoop的组成,包括HDFS、YARN的架构及其组件的功能,并概述了MapReduce的工作机制。最后,文章提供了Hadoop运行环境的搭建步骤,包括虚拟机环境准备、安装JDK和Hadoop,以及运行模式的介绍,重点在于完全分布式模式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  • 学习内容Hadoop(入门)重点搭集群

    1.大数据概念
        
        ·大数据(bigdata),IT行业术语,
            是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合
            是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
        
        ·主要解决,海量级的存储、海量数据的分析计算、统一资源管理调度
        
        ·HDFS-海量级的存储    MapReduce-海量数据的分析计算    YARN-统一资源管理调度
        
        ·Hadoop的特点(4V)
            volume(大量)    velocity(高速)    variable(多样)    value(低价值密度)
        
        
    2.Hadoop是什么
            Hadoop是一个由Apache基金会所开发的分布式系统基础架构
            主要解决,海量数据的存储、分析计算问题
            广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈
        
        201.Hadoop发展史
            
            Hadoop的底层就来自于Google在大数据方面的三篇论文
            GFS-->HDFS
            MapReduce-->MR
            BigTable-->HBase
        
        202.Hadoop三大发行版本
            
            Apache 版本最原始(最基础)的版本,对于入门学习最好。
            Cloudera 在大型互联网企业中用的较多。
            Hortonworks 文档较好
        
        203.Hadoop的优势(4高)
            
            01.高可靠:Hadoop底层维护多

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值