如何利用GeoIP与ELK（Elasticsearch、Logstash与Kibana）映射用户位置

普通网友

墨衍会员 · AI 创作全网分发码龄10年

关注

翻译最新推荐文章于 2026-08-24 16:21:42 发布 1.2w 阅读 AI 写同款· GEO 优化 ›

Logstash模块之geoip 在对Logstash的实际应用中，为了从日志中ip获取到用户访问时的所在地，用到了geoip这个模块。刚开始使用时并未注意到一些细节，但在做数据分析的时候发现了geoip的坑阅读详情

提供：ZStack云计算

系列教程

本教程为在CentOS 7上利用Logstash与Kibana实现集中化日志记录系列五篇中的第五篇。

本教程为利用ELK堆栈(Elasticsearch、Logstash与Kibana)在Ubuntu 14.04上实现集中化日志记录系列五篇中的第五篇。

内容简介

IP地理位置用于确定IP地址的物理位置，可被用于多种实际场景，包括内容个性化与流量分析等等。根据地理位置进行流量分析可帮助大家有效分析自己的用户群体，从而了解用户来自哪里、决定应用服务器的理想地理位置并明确掌握用户定位。在本教程中，我们将共同了解如何利用Elasticsearch、Logstash与Kibana配合一套GeoIP数据库，从而建立应用用户IP地址的可视化地理位置映射。

以下为其工作原理的简单说明。Logstash利用GeoIP数据库将IP地址转换为纬度与经度坐标对，即IP地址的近似地理位置。此坐标数据由Elasticsearch中的geo_point字段负责存储，另外亦可进一步转换为geohash字符串。Kibana随后读取该Geohash字符串并将其绘制为地图上的点，即由Kibana 4实现Tile Map可视化。

下面来看先决条件。

先决条件

要完成本教程，大家必须拥有一套能够运行的ELK堆栈。另外，大家还需要包含IP地址且能够被过滤为字段的日志，例如Web服务器访问日志。如果这两项条件尚不满足，大家可以首先参阅下面两篇教程：

向Filebeat目录中添加geo_point映射

假设大家已经完成了之前的教程，这里我们要重复这一步骤，因为TileMap可视化机制要求GeoIP坐标以geo_point类型的形式存储在Elasticsearch当中。

在Elasticserach的安装服务器上，将Filebeat索引模板下载至主目录：

- cd ~

- curl -O https://gist.githubusercontent.com/thisismitch/3429023e8438cc25b86c/raw/d8c479e2a1adcea8b1fe86570e42abab0f10f364/filebeat-index-template.json

利用以下命令加载该模板：

- curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@filebeat-index-template.json

下载最新GeoIP数据库

MaxMind提供免费与付费GeoIP数据库——其中付费版本的准确度更高。Logstash还提供免费GeoIP City数据库的一套副本，GeoLite City。在本教程中，我们将下载最新GeoLite City数据库，但大家也可以任意选择其它不同的GeoIP数据库。

下面将最新GeoLite CIty数据库的gzip归档文件下载至/etc/logstash目录。运行以下命令：

- cd /etc/logstash

- sudo curl -O "http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz"

现在将其解压：

- sudo gunzip GeoLiteCity.dat.gz

GeoLite CIty数据库将被提取至/etc/logstash/GeoLiteCity.dat，我们可以在Logstash配置文件中指向这一位置。

请注意，GeoLite数据库由MaxMind于每月第一个周二进行更新。因此，如果大家希望保持数据库处于最新版本，则应设置一项cron任务以保证每月下载该数据库。

接下来配置Logstash以使用GeoIP数据库。

配置Logstash以使用GeoIP

为了让Logstash存储GeoIP坐标，大家需要指定包含有一条公共IP地址且生成日志的应用，我们将过滤该IP地址以作为独立字段。一般来说，Web服务器可以充当这一日志生成应用，例如Nginx或者Apache，这里我们使用Nginx作为示例。

在向Logstash中添加Filter教程中，Nginx filter被存储在名为11-nginx-filter.conf的文件当中。如果大家的filter处于其它位置，请编辑该文件中的对应部分。

下面编辑Nginx filter：

- sudo vi /etc/logstash/conf.d/11-nginx-filter.conf

在grok部分之下（在if [type]…区段处）添加以下行：

11-nginx-filter.conf excerpt

geoip {
  source =&gt; "clientip"
  target =&gt; "geoip"
  database =&gt; "/etc/logstash/GeoLiteCity.dat"
  add_field =&gt; [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
  add_field =&gt; [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
}
mutate {
  convert =&gt; [ "[geoip][coordinates]", "float"]
}

如此一来，filter就会利用GeoLite City数据库对存在于clientip字段（在源中指定）内的IP地址进行转换。我们之所以将该源指定为“clientip”，是因为这正是Nginx用户IP地址存储所使用的字段名称。

在添加之后，为了明确filter的实际内容，我们这里放出11-nginx-filter.conf文件的完整版本：

11-nginx-filter.conf — updated

filter {
if [type] == "nginx-access" {
grok {
  match =&gt; { "message" =&gt; "%{NGINXACCESS}" }
}
geoip {
  source =&gt; "clientip"
  target =&gt; "geoip"
  database =&gt; "/etc/logstash/GeoLiteCity.dat"
  add_field =&gt; [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
  add_field =&gt; [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
}
mutate {
  convert =&gt; [ "[geoip][coordinates]", "float"]
}
}
}

保存并退出。

重启Logstash以应用变更。