17、数据建模与机器学习：从数据更新到模型部署

数据建模与机器学习：从数据更新到模型部署

1. 保持建模管道的最新状态

若要构建非一次性报告的数据流程，就需确保使用的是最新数据。常见的解决办法是在数据管道中运用持续集成/持续部署（CI/CD）。与传统方法不同，CI/CD旨在消除产品发布前的延迟，实现更频繁的小规模部署。在数据建模中，这一点尤为重要，因为情况变化迅速，例如新网页上线，如果未将其添加到代码或数据模型中，模型就无法获取相关信息。

为了实现这一方法，严格的自动化测试必不可少，它能确保模型可靠且未来能正常运行。每次更改都要进行测试，只有测试成功后才能推送到生产环境。同时，部署模型后还需关注其性能。即使代码不变，但如果输入的数据包含意外值，数据建模的性能也可能下降。可以通过设置警报和仪表盘来监控结果，当性能低于预定阈值时采取相应措施。还可以利用CI/CD系统在模型性能低于容忍度时触发重新训练或建模。

2. 关联数据集

在很多情况下，需要跨数据孤岛关联数据，因为问题的答案往往存在于两个数据源的组合中。关联数据集通常是一项高价值的任务，但有时需要一定的运气和判断力才能顺利完成。

2.1 关联数据集的常见问题

• 是否存在关联键 ：可能由于未捕获或无法获取必要的详细数据，导致无法进行数据关联。例如，在通用分析中，默认情况下用户的clientId不可用，需要进行配置或升级到GA360。而GA4的BigQuery导出功能使这一限制有所缓解。如果网站没有登录功能，就难以可靠地生成userId。
• 关联键是否可靠 ：GA4的clientId可能不是关联用户的可靠方