【Spark】ip地址查询案例(城市热点图)

上图是一张很常见的城市热力图，像这样的图是如何绘制的呢？
其实，每个地区都有自己的经纬度和上网ip区段，可以通过解析上网日志中的ip，定位某个地区的客流量。
本篇文章主要介绍，如果通过解析上网日志，查找热门地区经纬度，并把统计数据插入Mysql表中。

数据准备

这里需要两份数据：

1. 日志数据：20090121000132.394251.http.format

链接：https://pan.baidu.com/s/1luckcRUOpCDVmivLJ03XOQ
提取码：kroh

2. 城市ip段数据：ip.txt

链接：https://pan.baidu.com/s/1cOJhlCrfmC1SWXTZXMwovg
提取码：ydrv

需求分析

1. 加载城市ip段信息，获取ip起始数字和结束数字，经度，纬度
2. 加载日志数据，获取ip信息，然后转换为数字，和ip段比较
3. 比较的时候采用二分法查找，找到对应的经度和纬度
4. 然后对经度和维度做单词计数
5. 插入Mysql表中