大数据DMP画像系统

内容介绍

一、目标
1、掌握画像标签开发技巧
2、掌握数据挖掘技巧
3、了解业内画像和DMP系统的架构和开发
4、大数据结合业务场景落地




系统开发要求
涉及的技术要点：spark 、elasticsearch、hadoop 、hive 、LR GBDT等机器学习算法 开发工具：idea、eclipse 开发环境：spark2.2、hadoop2.7、hive1.2、hbase、redis 开发语言：scala、java、python、shell、sql

三、课程目录
课程一览
1、用户画像概述
什么是用户画像，为什么要用户画像，画像的场景应用 业内，facebook,阿里巴巴（达摩盘），腾讯（广点通）分析 打造自己的内部达摩盘，基本功能跟达摩盘一致

2、画像指标整理
2-1.基础属性。人的基础属性标签，包括地域、年龄、性别等。
2-2.兴趣偏好。这部分是投放端已有的定向能力，后期可规划更细的基于宝贝、店铺或行业的搜索选择，特定兴趣的定向功 能。
2-3.行为轨迹。基于兴趣偏好更细的行为（包括浏览、点击、成交、收藏、复购等），及不同时间段的行为交叉（包括1天、7天、30天的行为）。
2-4.消费能力。基于平台的支付交易，购物行为、交易额计算高中低，及类目上的高消费偏好。
2-5.好友关系。基于平台的关系链数据，推荐偏好该宝贝、店铺、行业的好友用户。
2-6.自定义人群。支持上传自定义人群包，lookalike扩展包的大小。

3、 画像标签体系建设和开发
3-1）基本属性 地域、年龄、性别、学历、职业
3- 2）兴趣偏好 品牌、 店铺、一级类目、场景、行业
3-3）消费能力 能力等级开发
3-4）特征人群 划分一些特定的人群，高活跃，低活跃，有车一族，奶爸一家
3-5）LBS属性 长居住地
3-6）用户轨迹 交易、浏览，收藏等

四、画像系统架构
功能：画像多维度分析、画像指标下钻分析、投放效果追踪分析 技术：基于es 、spark、hadoop 建设画像计算，以及数据存储和计算 模块：用户人群包（交集并集）、追踪分析、人群画像、人群对比模块开发

五、画像系统应用案例
用户精准营销
用户商品推荐

六、大数据面试技巧
hadoop、hive、spark常见面试问题以及解答