hadoop第一天——1.数据分析

数据采集（收集）
数据存储
数据预处理
数据分析
数据应用

一、数据分析

1.1 数据是什么

数据来自于对客观事件的记录和计量，需要计量工具技术的介入。

• 结构化数据
• 非结构化数据
  所谓的结构化通俗解释指的是利于程序解读处理的数据。

1.2 数据分析是什么

使用技术软件寻找出数据中隐藏的规律和价值，最终作用于某个地方。

• 描述性数据分析
• 探索性数据分析
• 验证性数据分析

1.3 数据分析作用

• 现状分析
• 原因分析
• 预测分析

在商业中数据分析的作用

• 分析历史数据，已经产生的数据 --> 离线分析
• 分析当下数据，实时产生的数据- -> 实时分析
• 通过数据结合数学知识预测未来发生的事 --> 机器学习（关联、预测、分类、聚类）

1.4 数据分析基本步骤

1. 明确分析目的和思路
   用户行为理论：指标
   数据分析方法论：
        - PEST分析法 — 用于宏观环境的分析
               政治环境(Political)
               经济环境(Economic)
               技术环境(Technological)
               社会环境(Social)
        - 5W2H — 广泛应用于企业营销、管理活动
               why、what、who、when、where、how、how much
        - 逻辑树分析法
        - 4P营销理论
        - 用户行为理论
   
2. 数据收集
   数据来源：
      - 数据库
      - 公开出版物
      - 互联网
      - 市场调查
3. 数据处理
   数据处理主要包括数据清洗、数据转换、数据提取、数据计算等处理方法。
   本质：经过清洗、转换、抽取等工作，把非结构化数据、杂乱无章的数据变成格式规整统一结构化的数据。
4. 数据分析
   数据挖掘侧重解决四类数据分析问题：分类、聚类、关联和预测
5. 数据展现
   一般情况下，数据是通过表格和图形的方式来呈现的。
6. 报告撰写
   数据分析报告其实是对整个数据分析过程的一个总结与呈现。

1.5 数据分析行业前景

• 蓬勃发展的趋势
• 数据分析师的职业要求
      - 懂业务
      - 懂管理
      - 懂分析
      - 懂工具
      - 懂设计