Spark(11) -- Spark实现ip地址查询案例及Sogou日志分析（scala版）

1. Spark实现ip地址查询案例

1.1 需求分析

 在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。我们根据每个用户的 IP地址，与我们的IP地址段进行比较，确认每个IP落在哪一个IP端内，获取经纬度，然后绘制热力图

 因此，我们需要通过日志信息(运行商或者网站自己生成)和城市ip段信息来判断用户的ip 段，统计热点经纬度。

1.2 技术调研

 因为我们的需求是完成一张报表信息，所以对程序的实时性没有要求，所以可以选择内存计 算spark来实现上述功能。

1.3 架构设计

搭建Spark集群

1.4 开发流程

1.4.1 数据准备

在ip日志信息中，我们只需要关心ip这一个维度就可以了，其他的不做介绍

1.4.2 用户访问日志数据