Tai_Park

本章目标：将代码打包并运行在服务器上。1.将数据放在HDFS上先把Hadoop启动起来：[hadoop@hadoop000 ~]$ cd app/[hadoop@hadoop000 app]$ lsapache-maven-3.6.3 hive-1.1.0-cdh5.15.1 spark-2.4.5-bin-hadoop2.6hadoop-2.6.0-cdh5.15...

1.统计需求本章主要实现需求四：APP统计。需求如下：2.代码编写入口搭好： AppStatProcessor.process(spark)先看一下第一步的运行情况：package com.imooc.bigdata.cp08.businessimport com.imooc.bigdata.cp08.`trait`.DataProcessimport ...

1.统计需求完成统计地域分布情况，需要原始请求数、有效请求数、广告请求数、参与竞价数、竞价成功数、广告主展示数、广告主点击数、媒介展示数、媒介点击数、DSP广告消费数、DSP广告成本数。具体指标如下所示：2.代码编写先做第一步处理，按上述要求将数据提取出来放在Kudu里。package com.imooc.bigdata.cp08.businessimport com....

这章的主要目标是对前两个需求的代码进行重构。1.重构思路2.traitScala Trait(特征) 相当于 Java 的接口，实际上它比接口还功能强大。与接口不同的是，它还可以定义属性和方法的实现。一般情况下Scala的类只能够继承单一父类，但是如果是 Trait(特征) 的话就可以继承多个，从结果来看就是实现了多重继承。package com.imooc...

第一章点这里传送1.功能二开发统计省份、城市数量分布情况，按照provincename与cityname分组统计package com.imooc.bigdata.cp08.businessimport com.imooc.bigdata.cp08.utils.SQLUtilsimport org.apache.spark.sql.SparkSessionobject Pr...

1.简介2.项目需求数据ETL：原始文件为JSON格式数据，需原始文件与IP库中数据进行解析统计各省市的地域分布情况统计广告投放的地域分布情况统计广告投放APP分布情况3.项目架构4.日志字段{ "sessionid": "qld2dU4cfhEa3yhADzgphOf3ySv9vMml", "adv...