[离线数仓]一、用户行为采集平台

G:\Bigdata\Projects\大数据项目之电商数仓V6.0

第1章 数据仓库概念

        数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。
        数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等
        业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在MySQL、Oracle等数据库中。
        用户行为数据：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。比如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据通常存储在日志文件中。
        爬虫数据：通常是通过技术手段获取其他公司网站的数据。

第2章 项目需求及架构设计

2.1 项目需求分析

1）采集平台

（1）用户行为数据采集平台搭建

（2）业务数据采集平台搭建

2）离线需求（31个指标）

主题	子主题	指标
流量主题	各渠道流量统计	当日各渠道独立访客数
		当日各渠道会话总数
		当日各渠道会话平均浏览页面数
		当日各渠道会话平均停留时长
		当日各渠道跳出率
	路径统计	路径分析
用户主题	用户变动统计	流失用户数
		回流用户数
	用户留存统计	新增留存率
	用户新增活跃统计	新增用户数
		活跃用户数
	用户行为漏斗分析	首页浏览人数
		商品详情页浏览人数
		加购人数
		下单人数
		支付人数
	新增下单用户统计	新增下单人数
		新增支付成功人数
		最近7日内连续3日下单用户数
商品主题	*复购率统计	最近30日各品牌复购率
	各品牌商品下单统计	各品牌订单数
		各品牌订单人数
	各品类商品交易统计	各品类订单数
		各品类订单人数
	购物车存量统计	各分类商品购物车存量Top3
		各品牌商品收藏次数Top3
交易主题	订单支付时间统计	下单到支付时间间隔平均值
	各省份交易统计	各省份订单数
		各省份订单金额
优惠券主题	优惠券使用率统计	使用次数
		使用人数

3）实时需求（46个指标）

主题	子主题	指标
流量主题	各渠道流量统计	当日各渠道独立访客数
		当日各渠道会话总数
		当日各渠道会话平均浏览页面数
		当日各渠道会话平均停留时长
		当日各渠道跳出率
	流量分时统计	当日各小时独立访客数
		当日各小时页面浏览数
		当日各小时新访客数
	新老访客流量统计	各类访客数
		各类访客页面浏览数
		各类访客平均在线时长
		各类访客平均访问页面数
	关键词统计	当日各关键词评分
用户主题	用户变动统计	当日回流用户数
	用户新增活跃统计	当日新增用户数
		当日活跃用户数
	用户行为漏斗分析	当日首页浏览人数
		当日商品详情页浏览人数
		当日加购人数
		当日下单人数
		当日支付成功人数
	新增交易用户统计	当日新增下单人数
		当日新增支付成功人数
商品主题	*复购率统计	最近 7/30 日截至当前各品牌复购率
	各品牌商品交易统计	当日各品牌订单数
		当日各品牌订单人数
		当日各品牌订单金额
		当日各品牌退单数
		当日各品牌退单人数
	各品类商品交易统计	当日各品类订单数
		当日各品类订单人数
		当日各品牌订单金额
		当日各品类退单数
		当日各品类退单人数
	各 SPU 商品交