很早之前就想把互联网广告业务系统性的学习一遍,奈何工作和生活一直很忙,终于最近要从上家公司离职了,可以开始做一些系统性的梳理。
这篇文章大概的框架如下
目录
一、互联网广告技术架构
1、计算广告系统技术框架,来源文章为王喆:"深度"学习计算广告,这篇文章还对比了推荐系统和广告系统的架构,非常值得一读!这个架构是目前我看到的比较全和比较新的,本篇也会以这张图来展开后续的技术知识点。
图1 计算广告系统技术框架
补充一下经典著作《计算广告》刘鹏、王超著,9.3节中的计算广告系统架构。图1相较于图2,更突出了算法的部分,上图的细节也更多。但是图2更清晰的展现了哪些结构部署在流计算平台、分布式计算平台中,可以补充着看看。
图2 在线广告系统一般性架构示意
二、技术知识点(保持更新中)
1、因果推断 (uplift建模)
2、广告反作弊
3、推荐算法
基本沿着《深度学习推荐系统》王喆的思路,将以下算法实现一遍,期待我的github链接
-
传统推荐算法
- 逻辑回归、
- 因子分解机、
- 协同过滤
- 组合模型
-
深度学习算法
- DNN
- Wide&Deep、FM与深度学习的结合、注意力机制在模型中的应用
- AutoRec、DeepCrossing、NeuralCF、PNN
附一张深度学习推荐系统的演化关系图
4、广告工程之——Flink流处理平台
(直接上手写的话,看笔记4、5就行)flink中文文档 https://nightlies.apache.org/flink/flink-docs-release-1.16/zh/docs/concepts/overview/
- 1) 介绍flink的一些基本概念,数据从哪里读取并写入哪里,flink中表的创建、查询、写入flink1-概念_鲸鱼在dn的博客-优快云博客
- 2) 介绍flink的“流式概念”,如何在没有边界的“流”中定义出与离线系统类似的语义,flink的动态表、时间属性、时态表,flink2_流式概念-优快云博客
- 3) flink的数据类型ARRAY、MAP、MULTISET、ROW flink3_流式聚合和数据类型_鲸鱼在dn的博客-优快云博客
- 4) flinkSQL从source数据中取数、动态表处理、写入sink的方式;join的方式,受连接条件限制的普通连接、受时间和连接条件限制的间隔器连接、时间连接flink4_flink SQL_flink支持动态sql-优快云博客
- 5) 用java写的自定义函数,标量函数及表值函数的开发指南 flink5_自定义函数_鲸鱼在dn的博客-优快云博客