Hadoop技术解析:分布式存储与计算

Hadoop生态系统介绍 阅读详情

在大数据时代,Hadoop已经成为处理海量数据的重要工具之一。本文将对Hadoop技术进行解析,重点介绍其分布式存储与计算的原理和实践。

1. Hadoop概述

Hadoop是一个开源的分布式计算平台,用来处理大规模数据集。它基于Google的MapReduce算法和Google文件系统(GFS)的论文实现,通过分布式存储和计算来处理大规模数据。

官网:Apache Hadoop 3.3.6 – Hadoop: Setting up a Single Node Cluster.

1.1 使用场景

Hadoop作为一个开源的分布式计算平台,在大数据领域有着广泛的应用。下面将介绍Hadoop的主要使用场景和特点:

  • 大数据存储与处理:Hadoop最主要的使用场景是用于存储和处理大规模数据集。它能够处理成千上万台服务器上的PB级数据,应用于各种行业的数据存储、分析和处理需求。

  • 数据仓库与数据湖:Hadoop可用作数据仓库或数据湖,用于存储各种结构化和非结构化数据。企业可以将数据存储在Hadoop集群中,并利用Hadoop生态系统中的工具和技术进行数据分析、挖掘和可视化。

  • 实时数据处理:尽管Hadoop的主要特点是适用于批处理作业,但它也可以与其他实时数据处理框架(Apache Storm、Apache Flink等)结合使用,实现实时数据处理和流式处理。

  • 日志处理与分析:Hadoop可用于处理大量的日志数据,如网络日志、应用程序日志、服务器日志等。通过Hadoop生态系统中的工具和技术,可以对这些日志数据进行分析、挖掘和可视化,帮助企业发现潜在的问题和机会。

1.2 特点
  • 分布式存储:Hadoop采用分布式存储模式,数据被切分成多个数据块并分布存储在多个节点上,提高了数据的可靠性和可扩展性。

  • 容错性:Hadoop具有很强的容错性,能够自动检测并处理节点故障,保证数据的完整性和可用性。

  • 可扩展性:Hadoop的设计目标之一是可扩展性,可以在需要时轻松扩展集群规模,以处理不断增长的数据量。

  • 成本效益:Hadoop是基于廉价的商用硬件构建的,相比传统的高性能服务器,成本更低,能够满足大规模数据存储和处理的需求。

  • 开放源代码:Hadoop是一个开源的项目,拥有庞大的社区支持,提供了丰富的工具和技术,为用户提供了极大的灵活性和自由度。

  • 生态系统丰富:Hadoop生态系统包括了各种工具和技术,如HDFS、MapReduce、Hive、HBase、Spark等,为用户提供了完整的大数据解决方案。

hadoop安装:云计算-Hadoop-2.7.7 最小化集群的搭建(3台)_hadoop最小化安装-优快云博客 

2. 分布式存储:HDFS

Hadoop分布式文件系统(HDFS)是Hadoop的核心组件之一,用于存储大规模数据集。HDFS通过将数据切分成固定大小的数据块并在多个节点上复制存储来实现容错性和高可用性。数据块的复制策略由HDFS配置确定,通常是将每个数据块复制到多个数据节点上以保证数据的可靠性。

下面用java代码演示使用HDFS

<dependencies>
    <!-- Hadoop HDFS Client -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs-client</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
</dependencies>
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;

public class HDFSTest {
    public static void main(String[] args) {
        // Hadoop配置文件路径
        String hadoopConfPath = "/opt/hadoop/conf";
        // Hadoop配置
        Configuration conf = new Configuration();
        conf.addResource(new Path(hadoopConfPath + "/core-site.xml"));
        conf.addResource(new Path(hadoopConfPath + "/hdfs-site.xml"));
        // HDFS文件系统
        FileSystem fs = null;
        try {
            // 连接HDFS文件系统
            fs = FileSystem.get(conf);
            // 在HDFS上创建目录
            Path dirPath = new Path("/user/example");
            if (!fs.exists(dirPath)) {
                fs.mkdirs(dirPath);
                System.out.println("Directory created on HDFS: " + dirPath.toString());
            }
            // 在HDFS上创建文件
            Path filePath = new Path("/user/example/test.txt");
            if (!fs.exists(filePath)) {
                fs.createNewFile(filePath);
                System.out.println("File created on HDFS: " + filePath.toString());
            }
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                // 关闭HDFS文件系统连接
                if (fs != null) {
                    fs.close();
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

3. 分布式计算:MapReduce

MapReduce是Hadoop的另一个核心组件,用于实现分布式计算。MapReduce将计算任务切分为多个子任务,分配给集群中的多个计算节点并行执行。其中,Map阶段负责数据的分片和处理,Reduce阶段负责汇总和计算最终结果。通过MapReduce的分布式计算模型,Hadoop可以高效处理大规模数据集的计算任务。

以下是一个简单的MapReduce示例,统计一段文本中每个单词的出现次数:

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-mapreduce-client-core</artifactId>
  <version>${hadoop.version}</version>
</dependency>
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.StringTokenizer;

public class WordCount {
    public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

4. Hadoop生态系统

Hadoop生态系统时,除了HDFS和MapReduce,还有许多其他重要的组件,它们各自拥有特定的作用和功能。

下面是使用表格进行Hadoop生态系统各组件介绍的方式:

组件基本作用适用场景
HBase分布式NoSQL数据库,用于实时读写大数据集。适用于需要高可用性、高扩展性的大规模实时数据存储和访问场景。
Hive数据仓库工具,提供HiveQL查询语言,用于数据提取、转换和加载。适用于数据仓库和OLAP场景,执行复杂查询和分析。
Spark基于内存的大数据处理框架,支持批处理、流处理和机器学习。适用于高性能、低延迟的数据处理场景,实时数据分析和机器学习。
YARNHadoop的资源管理器,统一管理集群资源,支持多种应用程序。适用于不同作业类型的资源调度和管理,提高资源和集群利用率。
Kafka分布式流式消息队列系统,用于实时数据收集、处理和传输。适用于实时数据处理和流式数据分析,高吞吐量和低延迟的场景。
Flink流式数据处理引擎,支持流式数据处理、批处理和事件驱动型应用。适用于实时数据处理,高性能、低延迟的流式数据处理场景。
Sqoop数据传输工具,用于Hadoop和传统数据库之间的数据传输。适用于数据集成和数据迁移,将关系型数据库数据导入到Hadoop等场景。
Zookeeper分布式协调服务,用于实现分布式系统的一致性、可靠性和管理。适用于分布式系统中的协调和管理,提供分布式锁、选举等功能。

5. 实践案例

Hadoop已经在各个领域得到了广泛的应用,包括但不限于互联网、金融、医疗、电商等行业。例如,互联网公司可以使用Hadoop处理用户行为日志数据,分析用户行为特征并进行个性化推荐;金融机构可以利用Hadoop对大量交易数据进行风险评估和分析等。

下面是一个简单的实践案例

5.1 场景描述

某电商公司希望构建一个大数据分析平台,用于实时监控用户行为、分析销售数据和进行个性化推荐等任务。该平台需要能够处理PB级别的数据,并支持实时数据处理和离线批处理。

5.2 技术架构
  • 数据采集:使用Kafka作为消息队列,实时收集用户行为日志和交易数据。
  • 实时处理:使用Spark Streaming实时处理用户行为日志,提取关键信息并存储到HBase中。
  • 离线分析:使用MapReduce或Spark批处理框架对销售数据进行离线分析和报告生成。
  • 数据存储:使用HDFS作为分布式文件系统,存储原始数据和处理结果。
  • 数据仓库:使用Hive构建数据仓库,存储清洗后的数据,支持复杂的SQL查询。
  • 个性化推荐:使用机器学习算法,基于用户行为和交易数据,使用Spark MLlib构建个性化推荐模型。
  • 资源管理:使用YARN进行资源管理和作业调度,确保集群资源的有效利用。
5.3 实践步骤
  • 数据采集:搭建Kafka集群,配置生产者将用户行为日志和交易数据发送到指定的主题。
  • 实时处理:编写Spark Streaming应用程序,订阅Kafka主题,实时处理用户行为日志,提取关键信息,并将结果存储到HBase中。
  • 离线分析:编写MapReduce或Spark作业,从HDFS中读取销售数据,进行数据清洗、转换和分析,并生成报告。
  • 数据存储:配置HDFS集群,用于存储原始数据和处理结果,确保数据的可靠性和高可用性。
  • 数据仓库:使用Hive创建外部表,将清洗后的数据加载到Hive表中,并对数据进行分区和优化。
  • 个性化推荐:使用Spark MLlib构建个性化推荐模型,基于用户行为和交易数据,提供个性化推荐服务。
  • 资源管理:配置YARN集群,使用ResourceManager和NodeManager进行资源管理和作业调度,确保集群的稳定运行和资源有效利用。
5.4 预期效果
  • 实时监控:通过实时处理,能够实时监控用户行为和交易情况,及时发现问题并采取措施。
  • 数据分析:通过离线分析,能够对销售数据进行深入分析,发现销售趋势和规律。
  • 个性化推荐:通过个性化推荐,能够为用户提供个性化的商品推荐,提高用户满意度和购买转化率。

通过上面的实践案例,可以充分利用Hadoop生态系统中的多个组件,构建一个完整的大数据分析平台,满足企业在大数据处理和分析方面的需求。

6. 结语

Hadoop生态系统的强大之处在于其多样性和灵活性,可以根据不同的需求和场景选择合适的组件组合,构建适合自己业务需求的大数据处理平台。通过结合这些组件,企业可以实现数据的高效存储、实时处理、离线分析和机器学习等多种功能,为业务决策提供更加准确和及时的支持。

大数据--分布式存储 Hadoop HDFS(分布式文件系统):解决海量数据存储MAPREDUCE(分布式运算编程框架):解决海量数据计算YARN(作业调度和集群资源管理的框架):解决资源任务调度。 阅读详情

相关推荐

解析Hadoop三大核心组件:HDFS、MapReduce和YARN

在大数据时代,Hadoop作为一种开源的分布式计算框架,已经成为处理大规模数据的首选工具。它采用了分布式存储和计算的方式,能够高效地处理海量数据。Hadoop的核心由三大组件组成:HDFS、MapReduce和YARN。本文将为您逐一介绍这三个组件。

阿莫夕林的博客 1万+

大数据导论——Hadoop生态系统

Hadoop生态系统及各组成部分简介

m0_63094069的博客 5205

Hadoop生态系统概览

Hadoop生态系统包括一系列的工具和框架,它们共同提供了一个全面的大数据处理平台。Oozie的工作流定义是通过XML文件进行的,这使得工作流的定义和管理变得简单。</</</</</</</</</</</</</</</</Hive 是一个基于 Hadoop 的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的 SQL 查询功能,使 MapReduce 更为直观和简洁。HiveSQL 是 Hive 提供的 SQL 语言,用于处理存储在 Hadoop 文件系统中的大规模数据集。

kkchenjj的博客 1630

Hadoop 分布式存储系统介绍

hadoop组成分布式存储(hdfs)hadoop1.x 存储系统hadoop 2.x 存储系统存储账本原理常用命令操作Java 代码实现配置文件获取对象创建文件夹上传文件下载文件递归列出文件夹中所有内容(包含子目录)参考文献。...

m0_67393828的博客 2707

大数据时代:Hadoop架构原理全揭秘

当你网购时,系统要预测你可能想买的商品……这些都依赖“大数据处理”。但传统数据库像“小仓库”,存不下几亿用户的行为数据,也跑不动复杂的计算任务。Hadoop正是为解决这些问题而生的“分布式全家桶”。本文将聚焦Hadoop最核心的三大组件(HDFS、MapReduce、YARN),从原理到实战,带你全面掌握其架构。用“图书馆爆仓”的故事引出Hadoop的诞生背景;用“分布式书架”“流水线分工”等比喻解释HDFS、MapReduce、YARN;结合代码和流程图,拆解Hadoop的存储、计算、调度细节;

SuperAGI2025 731

Hadoop 为大数据领域带来的变革与机遇

好的,请看这篇关于 Hadoop 如何变革大数据领域的技术博客。

软件工程实践的博客 157

深度解析 Hadoop 核心技术:三大组件与架构演进

Hadoop 是大数据领域奠基性框架,以 “分而治之” 为核心,靠 HDFS、MapReduce、YARN 三大组件协同处理 PB 级数据。HDFS 提供高容错存储,MapReduce 实现并行计算,YARN 负责资源调度与多框架兼容。版本上,2.x 引入 YARN 解耦计算与调度,3.x 新增纠删码等特性优化性能。其凭借低成本、高扩展性、多数据兼容优势,广泛应用于多领域,虽面临 Spark 竞争,仍在离线批处理等场景不可替代,是开发者入门大数据的关键。

2401_89845953的博客 1025

浅谈一下小波变换和EEG信号处理

浅谈小波变换,总结不是很到位,请大家指正。

qq_45045249的博客 2865

MapReduce(1)--分布式计算框架MapReduce介绍

Hadoop组成 Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统,对海量数据的存储。 Hadoop MapReduce:一个分布式的资源调度和离线并行计算框架。 Hadoop Yarn:基于HDFS,用于作业调度和集群资源管理的框架。 什么是计算框架? 是指实现某项任务或某项工作从开始到结束的计算过程或流的...

kismet 1925

AD | Altium Designer(原理图设计、电路仿真、PCB绘图)汉化版

Altium Designer(原理图设计、电路仿真、PCB绘图)

Qt历险记,专注Qt技术,三年医疗设备研发经验,1年机器视觉研发经验,半年柔性传感研发经验。 4172

【阿里云大模型高级工程师ACP习题集】2.9 大模型应用生产实践(下篇)

【摘要】这是我精心整理出对应的习题集,里面足足有 30 道题目,从基础概念到深度拓展,全方位覆盖章节重点、难点。不管你是想检验自己的学习成果,还是想针对薄弱环节进行强化训练,它都能完美适配!

davidkorhenn的博客 2241

大数据技术基础与 Apache Hadoop 框架详解

大数据的双重定义狭义定义(技术视角):大数据是一套用于处理海量数据的软件技术体系,核心是通过分布式技术实现海量数据的存储、计算与传输,挖掘数据价值。广义定义(产业视角):大数据是数字化、信息化时代的基础技术支撑,渗透到警务、政务、工业、电商、金融、教育等各个领域,为生活与产业赋能。(后续学习聚焦狭义大数据技术体系,服务于广义数字化场景)大数据的 5V 特征Volume(规模性):数据量达到 TB、PB 级甚至更高,存储、计算均需突破单机上限(如电商平台单日交易日志可达 PB 级)。

MeyrlNotFound的博客 801

私有云平台搭建——OpenStack

私有云平台搭建——OpenStack 搭建过程

2301_79739036的博客 3092

大数据处理技术:Hadoop与Spark核心原理解析

本文深入解析Hadoop与Spark两大核心大数据处理技术。Hadoop作为基础架构,包含HDFS分布式存储、MapReduce批处理计算和YARN资源调度三大组件,采用"一次写入多次读取"模式和计算向数据移动的设计理念。Spark则以内存计算为核心,通过RDD抽象、DAG执行引擎和Tungsten内存优化实现高效处理,支持批流统一计算范式。两者并非替代关系,而是互补协作:Spark常运行于Hadoop YARN之上,利用HDFS存储数据。技术选型需综合考虑数据规模、实时性要求和资源条件

MuXinShu1的博客 907

多仓智能订单路由与动态优化方案设计

现在有很多商家会有多个仓库,并分布在不同的城市中,当用户下单后会根据商品库存及订单信息将订单分配到对应的仓库进行发货,如就近原则,本期基于多仓库设计一套订单路由方案,包含核心逻辑、规则优先级和实施方案,适用于多仓协同的订单自动分配场景

14年产品经理老兵,想把自己的经验及总结分享给大家,只讲思路及实操,不讲废话 2484

【100%通过率】华为od机试C卷【小朋友来自多少小区】JS 实现

幼儿园组织活动,老师布置了一个任务:每个小朋友去了解与自己同一个小区的小朋友还有几个.我们将这些数量汇总到数组 garden 中。请根据这些小朋友给出的信息,计算班级小朋友至少来自几个小区?

MISAYAONE的博客 2008

hadoop基础知识

hadoop三大核心技术: 1.HDFS分布式存储系统 2.MR分布式计算框架 3.Yarn资源调度 Hadoop的核心配置: Hadoop的核心配置通过两个xml完成。 hadoop-default.xml和hadoop-site.xml。 Hadoop现在拥有4个配置文件: 1.core-site.xml 2.hdfs-site.xml 3.mapred-site.xml 4.yar...

weixin_30556161的博客 106

循迹小车控制实验:代码集成与硬件验证

在main.c文件中还需定义上层代码调用的GPIO输入和PWM输出相关函数,其中调用STM32CubeMX生成的HAL库函数。}else{}else{}else{}else{在main.h文件中的USER CODE BEGIN EFP注释代码段中外部声明Get函数和Set函数,使该函数可以被上层代码调用。循迹小车控制实验到本章全部完成。相比于前几章节的实验,本实验复杂程度是最高的。

u013288925的博客 127

Java技术栈 —— Hadoop生态核心组件解析与应用场景

本文深入解析Java技术栈下的Hadoop生态系统核心组件,包括HDFS、MapReduce和YARN,详细介绍了它们的架构设计、Java API实战应用以及典型场景如日志分析和推荐系统。通过具体代码示例和性能优化技巧,帮助开发者高效利用Hadoop处理大数据任务,提升分布式计算能力。

weixin_30352645的博客 361

深入解析 OpenClaw(小龙虾)源码:架构设计与核心实现

OpenClaw用清晰、工程化的代码结构,将复杂的Agent交互流程变成了可管理、可扩展的流水线。无论是想深入了解Agent系统设计,还是希望二次开发定制自己的AI助理,阅读OpenClaw源码都是一次绝佳的学习旅程。希望本文能帮助你快速掌握OpenClaw的核心脉络。如果你对某个模块(如技能开发、安全机制)感兴趣,欢迎继续探讨。本文基于OpenClaw社区版本源码分析,具体实现可能随版本迭代有所调整,请以最新源码为准。

Ven%的博客 449

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

hadoop框架原理

存储层(HDFS)

哥们菜鸟一个的博客 809

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

互联网大厂Java求职者面试:多技术栈深度问答与场景解析

本文通过互联网大厂Java求职面试场景,结合多技术栈,讲述严肃面试官与搞笑程序员谢飞机的3轮技术问答,涵盖Java核心、微服务、云原生等,深入解析业务场景与技术点,助力Java求职者系统学习。

m0_46899882的博客 305

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Java面试——Hadoop原理及应用

MapReduce是Hadoop的分布式计算框架,MapReduce应用程序首先需要声明数据的输入和输出路径(一般为HDFS路径)​,然后实现接口或抽象类的Map和Reduce函数,最后加上作业配置(Job Configuration)​,就完成了MapReduce应用程序的构建。

吴声子夜歌的博客 81

Hadoop第0部分:分布式存储计算平台及Hadoop入门

一、课程目标 分布式设计思想【了解】 大数据业务架构及技术生态【了解】 Hadoop的起源发展及功能【掌握】 HDFS的设计思想及架构【掌握】 MR及YARN的设计思想【了解】 二、分布式设计思想 1、分布式本质 集群:资源整合的问题 单台机器:CPU、内存、网络、硬盘 有限,限制了性能 集群:将多台机器的资源进行整合 整体 分布式服务:将硬件集群变成一个整体 本质:将任...

u013911970的博客 443

基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现

本项目设计并实现了一个基于Hadoop生态的公共自行车数据分布式存储与计算平台。针对共享单车行业PB级数据的存储和分析需求,系统采用HDFS进行分布式存储,Hive进行数据仓库管理,结合Flume实现实时数据采集,并通过Sqoop实现Hadoop与MySQL的数据互通。研究重点包括数据清洗、结构化处理和多维分析,优化了Hive查询性能,并使用Pyecharts实现可视化展示。该平台为共享单车企业提供了高效的大数据处理方案,助力智慧城市建设和绿色出行发展。

迷茫与徘徊只会让你陷入绝境,欢迎私信博主,带你开始提升变现价值! 2043

一文搞懂什么是Hadoop?Hadoop的优点有哪些?Hadoop⽣态圈【详细介绍】

前情回顾: ⼤数据是如何产⽣的? 什么是数据仓库? 目前为止,我们知道了海量数据的存储是使用数据仓库,而为了保证数据的质量呢,我们要有元数据管理,还有数据治理。而为了保证这些数据的性能、还有使用的效率等等,那么我们采取的是分层架构。 在目前市面上用的比较广泛的数据仓库是Hive,而Hive又是依存于Hadoop这样一个开源的分布式计算平台上。所以本篇博客我们就来介绍一下Hadoop。 Hadoop概述 1 Hadoop简介 Hadoop是什么?简单来说,Hadoop就是解决⼤数据时代下海量数据的存储和分析计

w0714的博客 6万+
上一篇: 架构设计:流式处理与实时计算
下一篇: Spring中的事务是如何实现的
Memory_2020
Memory_2020 新星创作者: Java技术领域 新星创作者: Java技术领域
博客等级 码龄10年 5601粉丝 123原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Memory_2020

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值