Hadoop大数据平台构建与应用

Hadoop大数据平台构建与应用

第一章 大数据与Hadoop平台技术



前言

1、熟悉 Hadoop平台技术的生态环境
2、熟悉 熟悉大数据关键技术
3、了解 大数据主要技术
4、了解 大数据的特点、应用领域


一、大数据时代

大数据就是海量资料或者称巨量资料,这些巨量资料来源于世界各地随时产生的数据,在大数据时代,任何微小的数据都可能产生不可思议的价值。
大数据有4个特点
(4V ):
Volume(大量)
Variety(多样)
Velocity(高速)
Value(价值)

在这里插入图片描述

二、大数据关键技术

大数据技术涵盖了数据采集、存储、处理、应用等多方面的技术,根据大数据的处理过程,可将其分为数据采集与预处理、数据存储及管理、数据处理及分析、数据隐私和安全等环节

大数据技术的不同层面及其功能
数据采集:利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等,抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础;或者也可以把实时采集的数据作为流计算系统的输入,进行实时处理分析。

数据存储和管理: 利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等,实现对结构化、半结构化和非结构化海量数据的存储和管理。

数据处理与分析: 利用分布式并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现对海量数据的处理和分析;对分析结果进行可视化呈现,帮助人们更好地理解数据、分析数据。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值