使用Groovy调用第三方地图api更新ElasticSearch日志的ip定位信息

最新推荐文章于 2025-05-16 10:31:53 发布
最新推荐文章于 2025-05-16 10:31:53 发布
阅读量640 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chen_cxl/article/details/112004288

使用Groovy调用腾讯地图api更新ElasticSearch日志的ip定位信息

本次实例软件相关版本
Groovy: 3.0.6
ElasticSearch: 7.9.3
kibana: 7.9.3
第三方地图Api: 腾讯地图 (第三方地图对比)

索引字段约定

  1. 请求日志索引
 PUT /request_log-web
 {
   
   
    "mappings":{
   
   
        "properties":{
   
   
            "location":{
   
   
                "type":"object",
                "properties":{
   
   
                    "gps":{
   
   
                        "type":"geo_point",
                        "ignore_malformed":true
                    },
                    "desc":{
   
   
                        "type":"keyword",
                        "fields":{
   
   
                            "wildcard":{
   
   
                                "type":"wildcard"
                            }
                        }
                    },
                    "ad_info":{
   
   
                        "type":"object",
                        "properties":{
   
   
                            "nation":{
   
   
                                "type":"keyword"
                            },
                            "province":{
   
   
                                "type":"keyword"
                            },
                            "city":{
   
   
                                "type":"keyword"
                            },
                            "district":{
   
   
                                "type":"keyword"
                            },
                            "adcode":{
   
   
                                "type":"keyword"
                            }
                        }
                    }
                }
            },
            "req_ip":{
   
   
                "type":"ip"
            }
        }
    }
}
  1. 存储ip地址索引
PUT /ip_address
{
   
   
  "mappings": {
   
   
      "properties": {
   
   
        "ip": {
   
   
          "type": "ip"
        },
        "createTime": {
   
   
          "type": "date"
        },
        "location": {
   
   
          "properties": {
   
   
            "ad_info": {
   
   
              "properties": {
   
   
                "adcode": {
   
   
                  "type": "keyword"
                },
                "city": {
   
   
                  "type": "keyword"
                },
                "district": {
   
   
                  "type": "keyword"
                },
                "nation": {
   
   
                  "type": "keyword"
                },
                "province": {
   
   
                  "type": "keyword"
                }
              }
            },
            "gps": {
   
   
              "type": "geo_point",
              "ignore_malformed": true
            }
          }
        },
        "message": {
   
   
          "type": "keyword"
        },
        "status": {
   
   
          "type": "keyword"
        }
      }
  }
}

groovy脚本


import groovy.json.JsonOutput
import groovy.json.JsonSlurperClassic
import groovy.transform.Field;
import java.io.BufferedReader
import java.io.InputStreamReader
import java.io.OutputStreamWriter
import java.net.URL
import java.net.URLConnection

class UpdateGps{
   
   
    /**
     *
     * @param bulk_count_aggrs 单次聚合ip查询数量单个查询数量
     * @param bulk_count_ip_inser 批量插入ip数量
     * @param count_for_max 最大循环次数
     * @param es_addr   es地址
     * @param logIndex  日志的索引
     * @param ipIndex   存储ip的索引
     * @param api_keys   腾讯地址api key配置
     */
    public UpdateGps(int bulk_count_aggrs=1000,int bulk_count_ip_insert=1000,int count_for_max=10,
                     String es_addr="http://192.168.0.202:9200",
                     String logIndex="request_log-*",
                     String ipIndex="ip_address",
                     List<String> api_keys
    ){
   
   
        this.bulk_count_aggrs=bulk_count_aggrs;
        this.bulk_count_ip_insert=bulk_count_ip_insert;
        this.count_for_max=count_for_max;
        this.es_addr=es_addr;
        this.ipIndex=ipIndex;
        this.logIndex=logIndex;
        this.api_keys=api_keys;

    }


    //腾讯地址api key配置
    List<String> api_keys;
//工具配置
    static JsonSlurperClassic jsonSlurper = new JsonSlurperClassic()
    static JsonOutput jsonOutput = new JsonOutput()
    static String rowDateFormat = "yyyy-MM-dd HH:mm:ss.SSS"
    static boolean debugInfo=true;  //info日志开关
    static boolean debugNet=false;  //网络日志开关
//elasticsearch 配置
    static es_addr="http://192.168.0.202:9200"
    static String ipIndex="ip_address"; //ip信息
    static String logIndex="request_log-*"; //日志索引

    int bulk_count_aggrs=1000;  //单次聚合ip查询数量单个查询数量
    int bulk_count_ip_insert=1000;  //批量插入ip数量
    int count_for_max=1;    //最大循环次数


    int unknow_ip_size=0;
    int count_for_cur=1;
    String startTime=new Date().format("yyyy-MM-dd HH:mm:ss.SSS");
    int total_ip_insert=0; //总计新增ip个数
    int total_ip_update=0; //总计更新ip个数
    int total_log_update=0; //总计更新行数
    int total_unknow_ip=0; //总计未知ip
/**
 * 入口方法
 * @return
 */
    int unknow_ip_size_temp
最低0.47元/天 解锁文章

200万优质内容无限畅学
ElasticSearch用法和IK分词器
Hello, New World!
02-17 767
ElasticSearch用法和IK分词器ElasticSearch 是什么？为什么选择ES?ES提供的能力ES常用使用场景ES架构ES 基本概念ES 数据类型ElasticSearch , Kibana 和 elasticsearch-head第一个HelloWorld(v6.8)分词器常见入门问题1. ES 6.8 IK分词器bug2. 日期格式设置错误3. 设置匹配度 优化查询结果ES的Java客户端选择1. ES提供了两个JAVA REST client 版本2. TransportClient3
《滚雪球学Spring Boot》教程导航帖（更新于2025.05.20）
热门推荐
**My Coding Family**
06-29 4万+
《滚雪球学Spring Boot》是由优快云博主bug菌创作的全面Spring Boot教程。作者是全栈开发专家，在多个技术社区如优快云、掘金、InfoQ、51CTO等担任博客专家，并拥有超过30万的全网粉丝。该教程分为入门篇和进阶篇，每篇包含详细的教学步骤，涵盖Spring Boot的基础和高级主题。
groovy 1.5.5 API
05-08
groovy API chm 文档，方便开发是查询API。
[Groovy] Groovy API
weixin_30615767的博客
06-21 131
http://www.soapui.org/about-soapui/soapui-faq.html#1-SoapUI--General-Questions 3.1.1. What is Groovy? It's a scripting language which is very similar to Java. read more here. 3.1.2. Where can I ...
Jenkins API groovy调用实践: Jenkins Core Api & Job DSL创建项目
学亮编程手记
08-09 741
在大规模的Jenkins实践中创建项目也是一个问题，如何通过模板自动化的创建Jenkins项目呢？可以通过安装Job Dsl插件后，通过 Dsl直接创建项目。也可以通过工具将dsl转换为xml，然后再通过Jenkins API创建项目。相对比较第一种方式更加直接一些，由于时间问题今天暂时分享第二种创建项目的方式。我们需要先安装好Job Dsl 插件，然后执行DSL创建项目。例如： 使用官网的example。这里定义了一个流水线项目，配置了项目的信息包括（项目描述、项目参数、Jenkinsfile地址）...
java脚本引擎groovy,Java 利用脚本API运行Groovy脚本的方式
weixin_29007243的博客
03-16 348
import java.io.Reader;import java.util.HashMap;import java.util.Map;import javax.script.Bindings;import javax.script.Invocable;import javax.script.ScriptEngine;import javax.script.ScriptEngineManager;...
groovy语言api
03-20
Groovy 是 JVM 的一个替代语言 — 替代 是指可以用 Groovy 在 Java 平台上进行 Java 编程，使用方式基本与使用 Java 代码的方式相同。在编写新应用程序时，Groovy 代码能够与 Java 代码很好地结合，也能用于扩展现有代码。目前的 Groovy 版本是 1.6.3，在 Java 1.4 和 Java 5 平台上都能使用，也能在 Java 6 上使用。
【搜索】Elasticsearch全文搜索引擎的学习和使用
JustAL_的博客
08-14 647
目录全文搜索引擎ElasticsearchElasticsearch简介为什么使用es？原因： 全文搜索引擎Elasticsearch Elasticsearch简介 ​ Elasticsearch是一个基于Lucene库的搜索引擎。它提供了一个分布式、支持多租户的全文搜索引擎，具有HTTP Web接口和无模式JSON文档。Elasticsearch是用Java开发的，并在Apache许可证下作为...
61、构建高效Elasticsearch集群与优化数据处理
最新发布
g5h6i7j的博客
05-16 13
本文详细介绍了如何构建高效的Elasticsearch集群，并深入探讨了其在数据处理、搜索查询、聚合分析等方面的强大功能。文章还涵盖了索引管理、映射配置、文档操作、性能优化等关键主题，并提供了实用的代码示例和最佳实践建议。此外，还讨论了插件开发、集群监控、数据同步以及安全与权限管理等内容，帮助开发者全面掌握Elasticsearch的核心技能，从而打造高效可靠的数据搜索与分析系统。
Groovy 文件的api扩展 （可用于gradle）
zhjali123的专栏
12-23 1057
获取整个文件内容： new File('test.txt').text println new File('test.txt').text //就打印文件内容了 一行行获取文件内容： new File('test.txt').eachLine{ line ->  println line  //或者做别的处理 } （这里{line -> }  是Groovy的闭包语法，lin
groovy http请求
11-26
groovy请求方式，比较好的工具需要的自取，不积跬步无以至千里
groovy编写webservice服务端和客户端(含连接数据并输出JSON数据)
04-06
NULL 博文链接：https://leon1509.iteye.com/blog/1541387
Groovy之Map操作
凉茶铺的博客
06-22 1万+
方式一：Java方式 方式二：Groovy方式 注意：map的键必须指定为不可变的单引号字符串，如果没有给键指定单引号，编译器编译时会自动加上（就是键直接写值，而不用加上单引号）map默认的是LinkedHashMap，如果我们想要指定集合类型，可以将def关键字替换为自己想要的map类型，例如如果我想要指定为Hashtable 或者使用 as关键字，完成指定map类型 方式二：使用变量名[“键”] 方式三：使用变量名.键名 4.2、变量名.键名=值 4
java实现接口通过Groovy加载
shiyuezhong的专栏
05-25 1374
接口实体类：InterfaceServiceCache.javapublic class InterfaceServiceCache implements Serializable { private static final long serialVersionUID = -5855556857352346121L; private Integer serviceId;//主键 priva...
Groovy开发工具包
weixin_34138377的博客
03-07 230
本文参考自The Groovy Development Kit，一些代码直接引用了源文档。 Groovy开发工具包（The Groovy Development Kit）的名字一开始迷惑了我，我以为是一些IDE的插件之类的。在实际看了原文档之后，我才明白这是Groovy提供的一组类库和方法，让我们开发更加方便...
groovy调用java接口_Groovy 实现接口
weixin_35578185的博客
03-02 905
import javax.swing.*import java.awt.*import java.awt.event.*//用具名参数初始化对象//setSize(int width, int height) 是父类java.awt.Component的方法//javax.swing.JFrame#setLayout (LayoutManager manager)//javax.swing.JFr...
groovy解析xml_使用Groovy访问和解析汇率API
cumj63710的博客
06-30 314
groovy解析xml 我住在加拿大，在其他国家/地区从事很多工作，因此当我记账时，我必须将外币的收入和支出转换为加元。 我过去常常通过辛苦地查询加拿大银行的历史汇率来做到这一点，但去年该银行减少了其支持的货币数量。 我决定使用发布货币汇率历史数据的网站和Java Groovy Apache Groovy （这是一种Java平台的编程语言），寻求一种不同且更实用的解决方案。 我发现了两个外汇...
怎样在groovy中实现接口
mxsfengg
12-15 356
 使用 closure 实现接口    interface X { void f(); void g(int n); void h(String s, int n); } x = {Object[] args -&gt; println "method called with $args"} as X x.f() x.g(1) x.h("hello",2)      上面的例子使用 closu...
soapUI调用第三方JAR包,.class,.groovy文件
weixin_30385925的博客
09-09 219
马上要投入到一个新的项目中,爽!而且因为测试资源的紧缺,测试就我一个人,测试的内容都是WS,反正这次的进度安排都是我控制,初步打算在soapUI中实现全自动化,小试牛刀,看看能不能磨光. 好了,言归正谈,这次记录下在soapUI中怎么调用第三方的文件. ===========================================================...
groovy调用第三方接口
10-25
Groovy 是一种基于 Java 平台的动态脚本语言，它能够轻松地调用第三方接口。在 Groovy 中，你可以使用标准的 Java 接口调用语法，因为 Groovy 是 Java 的超集，支持绝大部分 Java API。以下是调用第三方接口的基本步骤： 1. 添加依赖：首先，你需要将第三方库添加到项目中，可以使用 Maven 或 Gradle 等构建工具管理依赖。例如，如果你要使用 HTTP 客户端，可能会添加像 `http-client` 这样的库。 ```groovy dependencies { implementation 'org.apache.httpcomponents:httpclient:4.5.13' } ``` 2. 引入接口：导入需要使用的接口或类，如 `java.net.HttpURLConnection` 或第三方库提供的客户端接口。 ```groovy import org.apache.http.HttpEntity import org.apache.http.client.methods.CloseableHttpResponse import org.apache.http.client.methods.HttpGet ``` 3. 实例化并执行请求：创建接口的实例，并调用相应的方法发送请求。 ```groovy def httpClient = new HttpClient() HttpGet httpGet = new HttpGet('https://api.example.com') CloseableHttpResponse response = httpClient.execute(httpGet) try { HttpEntity entity = response.getEntity() // 处理响应数据 } finally { response.close() } ``` 4. 错误处理：记得处理可能出现的异常，比如网络错误、HTTP状态码异常等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值