大数据技术原理与应用 第二章 大数据处理架构Hadoop

厦门大学林子雨老师课程 —— 大数据技术原理与应用 学习笔记

参考资料：http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson0

1. Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce

2. Hadoop在企业中的应用架构

3. Hive会把提交的sql转换为一系列MapReduce作业后再去执行。

4. Hadoop项目结构

5. 在Mac上安装伪分布式Hadoop

此处参考博客：

https://blog.youkuaiyun.com/fox64194167/article/details/80617527

https://blog.youkuaiyun.com/qfikh/article/details/75041190

（1）升级Java：Mac自带jdk是1.7，Hadoop 3.0需要1.8以上版本。用brew cask install java很慢，建议从官网上下载jdk-8u172，再手动安装。网址为http://www.oracle.com/technetwork/java/javase/downloads/index.html。

（2）安装Hadoop：