hadoop大数据平台架构与实践——基础篇（慕课）

1.大数据技术的相关概念

2.Hadoop的架构和运行机制

3. Hadoop的安装和配置

4.Hadoop开发

注意：Hadoop是运行在Linux系统下的。

Hadoop的前世今生：

人们创造数据的越来越多样，从海量的数据中挖掘价值。如何对大数据进行计算？

Hadoop的组成：

包括两个核心组成：

HDFS：分布式文件系统，存储海量的数据。

MapReduce：并行处理框架，实现任务分解和调度。

Hadoop可以用来做什么？

搭建大型数据仓库，数据的存储，处理，分析，统计等业务。

Hadoop的优势：

高扩展，低成本，成熟的生态圈（各类辅助他的小工具）

Hadoop已经成为业界大数据平台的首选。

Hadoop的常见工具：

Hive:可以不要编写复杂的hadoop任务语句，Hive工具可以将你的sql语句转化为hadoop任务，从而降低使用Hadoop门槛。

Hbase:存储结构化的数据的分布式数据，与平常的关系型数据库相比，他放弃了事务的特性，从而追求更高的扩展性。

与HDFS相比，他提供了数据的随机读写和实时访问，实现对表数据的读写功能。

zookeeper:动物管理员，监控hadoop集群里面的状态

Hadoop的版本：1.x版本和2.x版本。