weixin_43909426的博客

一、需求模拟一个流式处理场景：我再说话，我编写好的一个spark streaming做词频统计1.模拟说话 ： nc -lk 3399flumesource :avro(qyl01:3399)channel:memorysink : kafkasink模拟实时的日志生成：echo aa bb cc >> /home/qyl/logs/flume.log...

一、互联网广告精准投放介绍（1）dsp的展示原理：①　用户浏览媒体网站，媒体网站通过添加的 SSP 代码向 AdExchange 发起广告请求。②　AdExchange 将这次请求的关键信息（如域名 URL、IP、Cookie 等）同时发送给多家 DSP，我们把这个请求称为 Bid Request。③　DSP 收到请求后通过 Cookie、IP、URL 等信息决策是否参与竞价，DSP...

介绍：&emsp本次项目是基于企业大数据经典案例项目（大数据日志分析），全方位、全流程讲解 大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。一、业务需求   （一）捕获用户浏览日志信息   （二）实时分析前20名流量最高的新闻话题   （三）实时统计当前线上已曝光的新闻话题   （四）统计哪个时段用户浏览量最高二、系统架...