自定义Nginx日志格式获取IP地址的省市份信息

原创 已于 2022-05-10 10:51:16 修改 · 423 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

于 2020-03-25 12:53:44 首次发布
本文介绍如何自定义Nginx日志格式，通过解析日志数据获取访问者的IP地址及对应的具体地理位置信息，包括省市等。文章详细展示了从日志格式配置到IP地址解析的全过程，并提供了代码实现。

自定义Nginx日志格式获取IP地址的省市份信息-源代码和数据源（访问密码：7567）: 
https://url56.ctfile.com/f/34653256-578540021-3f215c?p=7567 icon-default.png?t=M3K6https://url56.ctfile.com/f/34653256-578540021-3f215c?p=7567

在linux中nginx日志产生的格式是下面的配置：

$remote_addr^A$msec^A$http_host^A$request_uri

然后准备好了获取的日志数据

创建工程编写代码：

创建执行类和方法

基本结构

创建一个日期处理的工具类

完成简单的IP和时间存放

判断请求参数，利用?判断

如果请求的日志信息拿不到 也没有必要获取其它信息了

将请求信息获取的处理方法

网上有很多纯真IP地址数据库qqwry.dat解析的内容，我们利用下获取IP对应的地址

首先准备一个类IPSeeker（网上很多，可以直接下载下来）

再编写一个类，继承IPSeeker，编写一个单例

准备一个区域信息的类，注意生成get/set方法

QqwryIp添加解析IP地址的方法

完成基本结构

默认设置

处理省份信息

单独省份的处理信息，先示例一部分，简单处理

内蒙古

新疆、广西等地

天津、北京等地

香港、澳门等地和其它地区

可以补起数据处理的部分了handlerLogText方法

编写主方法，读取文件的内容主要部分

执行结果，这样就获取了文本中的日志信息

数仓(三)：分层设计 ODS-DWD-DWS-ADS
.
11-27 2万+
一、数仓建模的意义，为什么要对数据仓库分层？ 只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。 1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。 2、数据血缘追...
ELK日志分析实战宝典：从入门到服务器部署与应用（含ELK，部署启动全流程）
最新发布
weixin_45065854的博客
01-10 1889
它提供了一个分布式多用户能力的全文搜索引擎。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。在elasticsearch中，所有节点的数据是均等的。
nginx访问日志ip排序
OfficerGoodbody的博客
09-02 543
nginx访问日志按照ip访问次数排序 #!/bin/bash awk '{print $1}' $1 |sort|uniq -c|sort -rn -k1|head 脚本后跟日志路径,实例: sh nginx_access_ip.sh /opt/logs/nginx/access.log nginx访问日志在一段时间内按照ip访问次数排序 #...
统计Nginx的客户端IP，可以通过分析Nginx的访问日志文件来实现
不积跬步，无以至千里；不积小流，无以成江海。
12-03 1251
要统计Nginx的客户端IP，可以通过分析Nginx的访问日志文件来实现。
Nginx IP属地
PYROMANIA
05-18 1256
通过HttpServletRequest得到的IP统一： 127.0.0.1因为使用了Nginx反射代理，修改Nginx的配置并重载Nginx即可more项目中使用request.getRemoteAddr();对来源IP进行了判断，相同IP地址半小时只能上传一次数据，我测试的时候本机访问次数没有这么多次，而且这个数据初次访问时间是项目正式部署上线的时间，是生产环境产生的日志，生产环境怎么会拿到本机地址呢？经过一番研究: 在nginx配置文件nginx.conf。
Nginx(八)日志和获取客户端真实的ip
热门推荐
wzj_110的博客
01-13 1万+
一 nginx关于日志的配置 （1）错误日志配置 （2） 延伸：代理获取客户端的ip --> CDN和其它 Nginx 设置 favico.ico
获取Nginx访问日志中来源IP的归属地
吸欧气
12-18 2105
本次查看前二十位IP的归属地 vim auto.sh #!bin/bash IP=$(cat /usr/local/nginx/logs/access.log|awk '{print $1}' |sort -nr|uniq -c |sort -nr|head -20|awk '{print $2}') for i in $IP do curl https://ip.cn/?ip...
hive清洗nginx日志之根据IP获取对应城市
qq_48959845的博客
06-18 790
3，继承GenericUDTF重写initialize，process，close 1，引入ip2region（一个IP查询库，准确率99.9%的离线IP地址定位库，0.0x毫秒级查询，ip2region.db数据库只有数MB，提供了java,php,c,python,nodejs,golang,c#等查询绑定和Binary,B树,内存三种查询算法，比以往我们自己调网上的接口方便多了） 2，下载ip2region.db，需要的评论区告诉我 放在resource目录下 注意：URL url = new
logstash filter 的使用
m0_64632306的博客
06-18 1496
logstash filter 的使用
Logstash filter 的使用
m0_56342013的博客
06-18 1300
Logstash filter 的使用
统计Nginx日志里前一个小时的IP数量以及IOS占比
07-19
Nginx日志的原始时间格式无法通过date命令转换，所以自己写了脚本转换格式
nginx geo模块使用 nginx识别ip归属地做跳转
dennis的博客
01-10 2243
Nginx的geo模块允许你根据客户端的IP地址或其他变量的值来执行一些条件分支逻辑。该模块用于根据客户端的地理位置信息执行不同的操作。
Nginx中获取真实ip地址问题
fxtxz2的专栏
01-13 5265
nginx的realip模块可以解决这种多网关层获取真实ip地址问题。
NGINX 日志log 格式定义(format) & 筛选记录(map)
crazy_jialin的博客
12-27 4650
一、 NGINX日志格式自定义（format） 再http配置中添加log_format，这里需要注意的点：如果要在http中引入其他文件的配置，其他文件中若需要使用nginx.conf中的log_format， # /nginx/conf/nginx.conf worker_processes 2; error_log logs/error.log info; events { worker_connections 1024; } http { log_format
nginx 日志怎么实现显示真实客户端IP
weixin_33913332的博客
06-29 821
这篇文章页不错： http://www.tuicool.com/articles/E32mYf   假如说我们现在的架构是，nginx做反向代理，apache做web服务器。那么我们怎么让我的web服务器的访问日志显示的是真实客户访问的IP呢？ 正常情况下我们的访问日志显示的是反向代理服务器的地址，所以我们要做一定的修改让我们的web服务的访问日志显示真实访问者的IP地址。   需要做...
nginx（二）---Nginx 日志Log
qq_47800859的博客
01-30 7135
日志配置 日志轮转/切割 日志分析
nginx 日志配置笔记
学习，是熵减的最有效途径。
10-24 1463
Nginx 的日志配置非常灵活，可以根据实际需求进行调整。通过合理配置访问日志和错误日志，可以帮助你更好地监控和维护 Nginx 服务器。
nginx 日志分割、缓存及日志分析、统计ip
qq_44637753的博客
05-06 1220
nginx日志分割 nginx日志分割是nginx本身自带，不需重新编译。 直接在server中添加即可。 log_format main '$remote_addr $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '$http_user_agent $http_x_forwarded_for $request_t
【005】Nginx学习笔记-Nginx真实IP
DeusExMachina_V的博客
07-27 3396
Nginx真实IP
Nginx日志分析：IP计数与IOS系统占比统计
Nginx日志通常记录了客户端的IP地址、请求时间、请求方法、请求的URI等信息。这些信息对于网站运维人员监控网站状态、分析用户行为等都是十分重要的数据。 由于日志的时间戳格式可能不支持直接通过标准的date命令...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值