9、点击流跟踪与数据湖管理：技术解析与应用

点击流跟踪与数据湖管理：技术解析与应用

点击流跟踪服务

1. 代理模型实现

代理模型通过带有转发逻辑的信标来实现，其工作流程如下：
- 收集事件 ：网页、移动应用、桌面应用和后端服务器都会生成事件，同时也会使用 Webhook 收集第三方服务器的事件。客户端事件以 JavaScript 跟踪器和像素的形式存在，每个事件都有事件名称、事件属性和事件值定义等分类信息，然后将这些事件发送到代理端点。
- 验证事件 ：在端点对事件的模式属性和数据进行验证，不符合要求的事件会触发违规或阻止访问。验证事件质量有助于创建主动检测和反馈循环。
- 代理事件到目标 ：将事件转发到多个提供者，而无需在网站上加载多个标签。这种方法的优点是减少信标加载，且不使跟踪代码复杂化。

开源实现有 Segment 和 RudderStack，以 Segment 为例，它使用发布 - 订阅方法为点击流事件实现代理。事件被添加到消息总线（如 Kafka），电子邮件工具、网络分析和其他已部署解决方案的提供者作为订阅者。随着新解决方案的添加，信标无需更改，只需向事件消息总线添加订阅者即可。

2. 基于规则的丰富模式

这些模式专注于丰富点击流数据以提取见解，对原始事件进行分析、过滤和增强，且基于规则，数据用户可扩展以改进启发式方法。关键的丰富模式包括：
- 机器人过滤模式 ：定义规则区分人类用户和机器人，基于对多种模式的详细分析，使用 Spark 或 R 包实现。常见的区分检查包括关闭图