数据分析之道-第4章 数据埋点

• 数据获取方式很多，可以通过用户调研、软件工具抓取和购买第三方数据等，但主流方法还是通过数据埋点获得
• 4.1 数据埋点简介
  • 4.1.1 从数据产生流程浅谈数据埋点
    • 用户数据产生过程

      

    • 通过数据埋点技术采集用户行为，每当用户在客户端发生一个行为操作，这个操作就会被对应页面位置背后的代码采集到
    • 采集到的数据通过SDK上报（数据上报技术）
    • 再经过一系列处理流程进入数据仓库，形成海量用户数据
  • 4.1.2 为什么需要进行数据埋点
    • 数据治理流程的业务闭环

      

    • 对业务进行数据监控，对产品进行优化，对用户行为进行分析以实现精细化运营
  • 4.1.3 数据埋点能够采集哪些用户数据
    • 网站或者APP能够采集用户的四类信息

      

    • 做数据埋点文档的时候，并不追求大而全，根据业务方的需求文档对相应的行为进行埋点记录即可
  • 4.1.4 数据埋点与隐私保护
    • 对隐私信息的授权要谨慎，尽量不要在互联网上填写个人信息，特别是上传身份证等
• 4.2 数据埋点分类及主流的数据上报技术
  • 4.2.1 数据埋点的分类及方式
    • 根据其位置不同，可分为前段埋点和后端埋点
    • 前端埋点：...对不需要实时上报的事件，通常只在wifi环境下上报，因此会出现数据上报的延迟与漏报现象
    • 后端埋点：...不会因为网络原因丢失数据，支持与用户身份信息和行为附带属性信息的整合，发布埋点马上生效
    • 前段埋点根据自动化程度不同，分为代码买点（手动埋点）、全埋点（无埋点或全自动埋点）、可视化埋点
    • 前端埋点与后端埋点的区别

      

  • 4.2.2 主流的数据上报技术
    • 1. 客户端上报

      

    • 因为用户的操作节点和数据的上报节点并不总是同步的，所以又称异步上报
    • 可能会因为网络问题丢包，由此可以解释客户端上报的数据不那么准确的原因
    • 2. 服务端获取
    • 用户首次看到的内容，都是从服务器返回的
• 4.3 数据埋点方案设计
  • 埋点是统一数据口径的一个重要环节
  • 不同的统计口径会造成一定的数据差异
  • 4.3.1 数据埋点流程
    • 数据埋点流程

      

    • 立足于当前的数据需求，提炼出数据指标方案。并且构思这些指标需要哪些数据，这些数据也就是需要的埋点（初步埋点方案，要使埋点变得准而全，还需要另外方法，如用户路径等）
    • 有初步的埋点规划后，还需要确定时间触发机制和上报机制，因为不同机制意味着不同的统计口径
    • 统计指标最好能和之前的口径一致，以方便横向比较
    • 还要统一各个项目之间的字段名和表结构
    • 初步的埋点方案就完成了
    • 然后再和业务方及前端、后端工程师的反复讨论中修改完善买点文档，将买点文档交付前、后端工程师进行埋点
    • 在此期间数据分析师还需要通过测试环境的数据验证当前埋点是否存在问题，若有问题，还可以在该阶段进行修改，若无问题可部署埋点事件上线
  • 4.3.2 通过六个步骤实现数据埋点设计
    • 1. 确认事件和变量
      • 事件：产品中的功能或者用户的操作
      • 变量：描述事件的属性或者关键指标
      • 可以通过AARRR海盗模型或者UJM（用户旅程图）模型进行逐步拆解，理清用户生命周期和行为路径，抽象出每一个步骤的关键指标
    • 2. 明确事件的触发时机
      • 不同触发时机意味着不同的事件计算口径，因此触发时机是影响数据准确性的重要因素
      • 如用户付款，建议用两个字段记录用户付款行为：一个字段记录用户点击付款界面、一个字段记录是否付款成功
    • 3. 明确事件的上报机制
      • 需要确定数据是实时上报还是异步上报，以确定埋点是否合理，并计时调整数据埋点方案
    • 4. 统一表结构
      • 建议在团队内部形成一套统一的数据结构规范
    • 5. 统一字段名规范
      • 有条件可以建立数据字典，统一数据命名规范
      • 可采用动词+名词或者名词+动词的规则来命名，如addToCart
    • 6. 明确优先级
      • 数据埋点是为数据应用做铺垫的
      • 埋点之后，可能面临着搭建指标体系和数据报表体系的工作，可以根据报表的优先级、埋点的技术、实现成本及资源的有限性，为数据埋点确定优先级
  • 4.3.3 以电商成交为例实现数据埋点设计
    • 电商成交的数据埋点设计流程

      

    • 1. 确认事件与变量——通过UJM模型拆分用户购买商品的路径
      • 根据用户购买路径拆分
      • 根据产品经理提出的数据需求，确定每一个步骤需要哪些字段才能实现数据需求
    • 2. 确认触发机制
      • 明确是在点击按钮时记录行为还是在用户完成该步骤时记录行为
    • 3. 确认上报机制
      • 明确数据上报机制是实时上报还是异步上报。不同的上报机制采集到的字段可能不一样，或者说需要将字段拆分到不同表中进行记录
    • 4. 统一字段名
      • 这里采用多层数据表结构，第一层存放通用信息，第二层存放用户基本信息，第三层存放用户行为信息
    • 5. 统一表层级结构
      • 这里采用多层数据表结构，第一层存放通用信息，第二层存放用户基本信息，第三层存放用户行为信息
      • 这里采用多层数据表结构，第一层存放通用信息，第二层存放用户基本信息，第三层存放用户行为信息
    • 6. 明确优先级
      • 根据埋点需求的紧急程度，给每一个埋点任务标上优先级
    • 根据上面的六个步骤，将每一个步骤需要记录的字段按照标准格式汇总到文档中，即可完成初步的埋点设计
    • 之后，还需要与产品经理、策划人员和前端、后端工程师一起反复讨论，不断修改完善文档，直至三方会谈达成统一意见，最终埋点文档可以参考