阿里云ECS、datahub、RDS、ADS、OTS、MaxCompute及BI报表展示串联

上周部门做了一个培训，利用阿里云产品实现了数据从采集，到存储，开发及报表展示的全过程，实现了流计算和实时计算两个过程。在此做个学习记录。

涉及产品

ECS云服务器、DataHub、ADS、OTS、RDS，quickBI。

1.流计算

源数据：由python脚本和shell脚本模拟产生。
user表（用户信息表）：用户id、星座，性别，年龄，省份等。
goods sale表：用户id、商品类别、商品种类、购买量、购买金额、点击量、加收藏夹数量、加购物车数量。

1.1数据产生

ECS是一款阿里云的云服务器。
首先要有ecs的环境。将脚本通过linux命令部署到esc上，并用contab设置定时任务。保证模拟数据能一直产生。
python脚本里通过Pydatahub包连接到datahub，生成的数据直接存储到datahub中。

1.2数据存储

在流计算页面，将datahub作为数据源，分别将ADS，OTS，RDS作为目标数据源。在导入之前，需要先在ADS，OTS，RDS建表结构。
在流计算中，源数据和目标数据的sql语句是自动生成的，但是需要再写一个

  REPLACE into table  goods_sale 
    select
    buyer_id,
    from_unixtime(create_time,'yyyyMMdd'),
    good_cate ,
    brand,
    trans_num ,
    trans_amount,
    click_cnt,
    addcart_cnt,
    collect_cnt 
    from buy_new;

这个语句是自己写的，目的是将datahub的数据写入到ads等数据库中。
注意： 权限问题

1.3报表展示

在阿里云的quickBI中，可以用ads，rds等中的数据作为数据源，做报表展示。此时数据源是实时更新的，就可以在页面展示中做到实时刷新 ，这里支持5s刷一次。
PS：要做大屏实时变化的那种，首先数据源是要实时更新的，另外报表显示的统计分析的sql语句也要实时更新的，保证取到的数据是实时变的。

2.离线计算

2.1 业务数据同步到MaxCompute（即原来的odps）

这里由于没有业务数据，就将之前在RDS中的数据作为业务数据。

• ods层（汇聚层）
  建工作流任务，建odps表，进行数据同步，将业务数据同步到odps中。
• adw层（仓库层）
  做一些数据清洗，转换格式的工作
• adm层（集市层）
  根据业务问题，做一些统计分析，面向主题的。
  在这一步将数据同步到ads中，要先授权，使ads能接受ads
• dim（集市层）
  看问题的角度

2.2报表展示

在阿里云的quickBI中，用ads中的数据作为数据源，做报表展示。

选择不同数据库

RDS：面向事务。存不了太大数据。类似mysql。OLTP
ADS：索引查询，比较快，存关系型数据库，要做表关联的时候就不能做ADS。类似数据透视表，但是支持数据量大可以秒级反应。存进来的时候并不能做到那么快，一旦存进来就很快。
OTS：主键列的形式，存nosql数据。