spark案例---实现ip地址查询

最新推荐文章于 2025-06-04 09:26:26 发布

原创

最新推荐文章于 2025-06-04 09:26:26 发布 · 614 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark案例 #ip地址查询

通过Spark实现ip地址查询

1.需求分析

在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。

在这里插入图片描述

通过日志信息（运行商家或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。

2.技术调研

因为我们的需求是完成一张报表信息，所以对程序的实时性没有要求，所以可以选择内存计算spark来实现上述功能。

3.架构设计

搭建spark集群

4.开发流程

4.1数据准备

4.2 ip日志信息

在ip日志信息中，我们只需要关心ip这一个维度就可以了，其他的不做介绍
在这里插入图片描述

4.3 城市ip端信息

在这里插入图片描述

5.代码开发

5.1代码开发思路

（1)加载城市ip段信息，获取起始数字和结束数字，经度，维度。
(2) 加载日志文件，获取ip地址，然后转换为数字，和ip段比较
（3）比较的时候采用二分法查找，找到对应的经度和维度
（4）然后对经度和维度做单词计数。

5.2代码实现

（1）创建一个maven工程

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>Spark_01</artifactId>
        <groupId>zt.Spark_01</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>spark02</artifactId>
    <properties>
        <scala.version>2.11.8