大数据_各章概述

一、各章概述（Hadoop部分）
    (一)、Hadoop的起源与背景知识

        1、什么是大数据？两个例子、大数据的核心问题是什么？
            举例：（1）商品推荐：问题1：大量的订单如何存储？       问题2：大量的订单如何计算？
                 （2）天气预报：问题1：大量的天气数据如何存储？    问题2：大量的天气数据如何计算？

            大数据的核心问题：（1）数据的存储：分布式文件系统（分布式存储）
                           （2）数据的计算：分布式计算

        2、概念：数据仓库（Data warehouse）
            （1）我们可以把Hadoop和Spark看成是数据仓库的一种实现方式
            （2）数据仓库就是一个数据库，一般只做select
            （3）重要：掌握数据仓库搭建的过程
            （4）数据仓库又是一种OLAP的应用系统

        3、概念：OLTP和OLAP
            （1）OLTP：online transaction processing 联机事务处理
                事物(acid 原子性、隔离性、持久性、一致性)
            （2）OLAP：online analytic processing 联机分析处理 ------> 一般：不会修改（删除）数据

        4、（最重要的内容）Google的几篇论文：3篇
            （1）GFS：Google File System   -----> HDFS              ----> 解决：数据的存储  
            （2）MapReduce计算模型         -----> Hadoop MapReduce  ----> 解决：数据的计算
            （3）BigTable大表              -----> HBase是NoSQL数据库

    (二)、实验环境(见下边)

    (三)、Apache Hadoop的体系结构（重要）：实现Google的思想论文

        1、HDFS：Hadoop Distributed File System
            （*）主从结构
            （*）主节点：NameNode名称节点
            （*）从节点：DataNode数据节点
            （*）SecondaryNameNode：第二名称节点

        2、Yarn:是一个容器，运行MapReduce程序
            （*）主从结构 
            （*）主节点：ResourceManager 资源管理器
            （*）从节点：NodeManager     节点管理器

        3、HBase：需要单独安装(在Hadoop安装包里面没有HBase，所以需要单独安装)
            （*）主从结构 
            （*）主节点：HMaster
            （*）从节点：RegionServer

    (四)、Hadoop 2.X的安装与配置

        Hadoop有三种安装模式
        1、本地模式      一台Linux
        2、伪分布模式    一台Linux
        3、全分布模式    三台Linux
        4、掌握免密码登录的原理和配置

    (五)、Hadoop应用案例分析

        1、大数据背景下，企业级系统的架构的变化

        2、HBase进行日志分析

        3、了解：Hadoop在淘宝的应用

    (六)、HDFS：Hadoop的分布式文件系统，数据存储
        1、操作HDFS：（1）命令行  （2）Java API  （3）网页：Web Console
        2、原理：数据上传的过程
                数据下载的过程
        3、HDFS的底层实现：RPC和Java动态代理
                           RPC：remote procedure call(远程过程调用)
        4、高级特性
            （*）回收站
            （*）快照snapshot：是一种备份
            （*）配额quota：（1）名称配额  （2）空间配额
            （*）安全模式：safemode
            （*）权限              

    (七)、MapReduce：是一个计算模型，可以用Java来实现
        1、Demo：经典WordCount
        2、重点：MapReduce处理数据的过程
        3、原理：Yarn执行MapReduce的过程
        4、MapReduce的高级特性
            （*）序列化
            （*）排序
            （*）分区
            （*）合并
        5、MapReduce的核心：Shuffle（洗牌）
        6、编程案例：
            （*）排序：order by
            （*）去重：distinct
            （*）多表查询
            （*）倒排索引

    补充：MySQL数据库

    (八)、Hive：蜂巢  数据分析的引擎：翻译器   SQL语句 ------翻译成---------> MapReduce 程序
    (九)、Pig： 猪    数据分析的引擎：翻译器   PigLatin语言 ---翻译成---> MapReduce 程序

    (十)、HBase: NoSQL数据库
        1、是基于Hadoop之上的NoSQL
        2、体系结构：HMaster、RegionServer
        3、搭建：本地模式、伪分布模式、全分布模式
        4、操作：命令行(sql语句)、Java API、Web Console
        5、过滤器：实现复杂的查询
        6、HBase上的MapReduce

    (十一)、Sqoop：数据采集引擎，采集关系型数据库中的数据

    (十二)、Flume：数据采集引擎，采集日志

    (十三)、HUE：基于Web的管理工具

    (十四)、ZooKeeper： 动物园管理者，相当于是一个”数据库“，实现HA（High Avaiblity高可用性）

    (十五)、Hadoop的集群和HA

        1、HDFS的联盟（Federation）
        2、Hadoop的HA（High Avaiblity高可用性）

    (十六)、Redis：基于内存的NoSQL数据库，提高性能

    (十七)、Storm：处理流式数据（实时计算）
                  集成Storm和Redis

实验环境

数据仓库的搭建过程

分布式文件系统(分布式存储):NameNode和SecondaryNameNode 这两者之间没有关系。

机架感知

搭建Hadoop环境需要三台机器：nameNode和SecondaryNameNode在一台机器上；数据节点的话，两个硬盘在一台机器上，另外一块硬盘在一台机器上。因此总共需要三台机器。

对倒排索引的理解：按照abcd排序