本文介绍了大数据的4V特性，以及大数据处理的基本流程，包括数据采集、存储、分析和结果呈现。重点讨论了Hadoop在大数据处理中的角色，阐述了Hadoop的配置、核心特性、运行模式以及其生态系统中的各个组件，如HDFS、MapReduce、HBase等。此外，还解释了MapReduce的工作流程和Shuffle过程。
大数据的概念：
大数据的4个“V”是指：数据量大、数据类型繁多、处理速度快、价值密度低
大数据的基本处理流程主要包括数据采集、数据存储、数据分析和结果呈现。
大数据的计算模式主要包括批处理计算、流处理计算、图处理计算和查询计算
大数据产业包括IT基础设施层、数据源层、数据管理层和数据分析层
hadoop概念和配置
配置Hadoop时，Java的路径JAVA_HOME在配置文件hadoop-env.sh中进行设置；所有节点的HDFS路径通过fs.defualt.name来设置，这个选项在配置文件core-site.xml中设置。
iHadoop的核心是HDFS和MapReduce。
iHadoop的主要特性有高可靠性、高效性、高可扩展性、高容错性、成本低、运行在Linux操作系统上、支持多种编程语言
iHadoop的三种运行模式是独立（本地）模式、伪分布式模式、完全分布式模式
简答题：
大数据的概念，大数据与云计算的关系
答：（1）大数据、云计算和物联网的区别。大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户；物联网的发展目标是实现“物物相连”，应用创新是物联网发展的核心。
（2）大数据、云计算和物联网的联系。从整体上看，大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算，大数据分析的很多技术都来自云计算，云计算的分布式数据存储和管理系统提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce提供了海量数据分析能力。没有这些云计算技术作为支撑，大数据分析就无从谈起。反之，大数据为云计算提供了“用武之地”，没有大数据这个“练兵场”，云计算技术再先进，也不能发挥它的应用价值。物联网的传感器源源不断产生的大量数据，构成了大数据的重要数据来源，没有物联网的飞速发展，就不会带来数据产生方式的变革，即由人工产生阶段转向自动产生阶段，大数据时代也不会这么快就到来。同时，物联网需要借助云计算和大数据技术，实现物联网大数据的存储、分析和处理。
hadoop生态系统
试述Hadoop生态系统以及每个部分的具体功能（
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
