Hive+Spark离线数仓工业项目实战--项目介绍及环境构建（1）

项目简介

通过大数据技术架构，解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据，基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。

推荐教程：大数据Hive+Spark离线数仓工业项目实战

项目介绍及环境构建

1. 项目目标
   - 项目1：在线教育
     - 学习如何做项目，项目中大数据工程师要负责实现的内容和流程
     - 学习数仓基础理论：建模、分层
   - 项目2：一站制造
     - 企业中项目开发的落地：代码开发
       - 代码开发：SQL【DSL + SQL】
         - SparkCore
         - SparkSQL
     - 数仓的一些实际应用：分层体系、建模实现
2. 内容目标
   - 项目业务介绍：背景、需求
   - 项目技术架构：选型、架构
   - 项目环境测试

- **目标**：了解项目应用背景

- **实施**

  - **工业**

    - 产业分类
      - 第一产业：植业、林业、畜牧业、水产养殖业等直接以自然物为生产对象的产业
      - 第二产业：工业、建筑业
      - 第三产业：交通运输业、通讯产业、商业、餐饮业、金融业、教育产业
    - 定义：属于第二产业，指的是采集原料，并把它们加工成产品的工作和过程
    - 划分
      - 开采业：对自然资源的开采，对采矿、晒盐、森林采伐等
      - 加工业：粮油加工、食品加工、 轧花、缫丝、纺织、制革等
      - 制造业：炼铁、炼钢、化工生产、 石油加工、机器制造、木材加工等，以及电力、自来水、煤气的生产和供应等
      - 机修业：对工业品的修理、翻新，如机器设备的修理、 交通运输工具的修理等

物理网：IOT**（Inte