java使用es查询

最新推荐文章于 2025-03-21 11:53:23 发布

蓝水依依

最新推荐文章于 2025-03-21 11:53:23 发布

阅读量1.2w

点赞数

分类专栏： elasticseaarch 文章标签： java 大数据

原文链接：https://blog.youkuaiyun.com/weixin_37684345/article/details/78953233

版权

elasticseaarch 专栏收录该内容

8 篇文章

订阅专栏

众所周知，elasticsearch简称es,它是基于基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题以及可能出现的更多其它问题。

在java中使用es时，无非想解决的是查询速度不够快，效率不够高问题，单一从数据库里查询数据已经不能拿满足当前的业务需求，ok！那么现在我们来讲述一下如何在java中使用到es这个神奇的搜索服务器呢，首先，你得要去引用es的依赖包，依赖如下：

<dependency>

<groupId>org.elasticsearch.client</groupId>

<artifactId>transport</artifactId>

<version>5.5.0</version>

</dependency>

<groupId>org.elasticsearch.client</groupId>

<artifactId>transport</artifactId>

<version>5.5.0</version>

</dependency>

<dependency>

<groupId>org.elasticsearch</groupId>

<artifactId>elasticsearch</artifactId>

<version>5.5.0</version>

</dependency>

好的，添加完依赖之后，进入到es使用阶段，对了，有个问题得需要说明一下，要使用es的话需要安装jdk1.8工具包并且tomcat最好是7.05以上的版本，不然es会不支持，集成到项目里面可能会报错！，还有es的安装和下载，这里附下载地址下载地址：https://www.elastic.co/downloads/elasticsearch

安装步骤可以参考：https://www.cnblogs.com/tielemao/p/5841145.html

一切准备就绪后接下来进入到我们真正期待的时刻，什么呢，没错，集成es，究竟如何在java里面搜索查询es服务器里面的东西呢，让我一一来为你揭晓：

首先我们建议一个es的工具类

package com.osa.utils;

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.io.PrintWriter;

import java.net.URL;

import java.net.URLConnection;

import java.net.URLEncoder;

import java.util.Iterator;

import java.util.List;

import java.util.Map;

import java.util.Set;

import org.apache.http.client.ClientProtocolException;

import com.alibaba.fastjson.JSONArray;

import com.alibaba.fastjson.JSONException;

import com.alibaba.fastjson.JSONObject;

public class HTTPSentUtils {

/**

* 向指定URL发送GET方法的请求

* @param url

* 发送请求的URL

* @param param

* 请求参数，请求参数应该是 name1=value1&name2=value2 的形式。

* @return URL 所代表远程资源的响应结果

public static String sendGet(String url, String param) {

String result = "";

BufferedReader in = null;

try {

String urlNameString = url + "?" + param;

URL realUrl = new URL(urlNameString);

// 打开和URL之间的连接

URLConnection connection = realUrl.openConnection();

// 设置通用的请求属性

connection.setRequestProperty("accept", "*/*");

connection.setRequestProperty("connection", "Keep-Alive");

connection.setRequestProperty("user-agent",

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");

// 建立实际的连接

connection.connect();

// 获取所有响应头字段

Map<String, List<String>> map = connection.getHeaderFields();

// 遍历所有的响应头字段

for (String key : map.keySet()) {

System.out.println(key + "--->" + map.get(key));

}

// 定义 BufferedReader输入流来读取URL的响应

in = new BufferedReader(new InputStreamReader(

connection.getInputStream()));

String line;

while ((line = in.readLine()) != null) {

result += line;

}

} catch (Exception e) {

System.out.println("发送GET请求出现异常！" + e);

e.printStackTrace();

}

// 使用finally块来关闭输入流

finally {

try {

if (in != null) {

in.close();

}

} catch (Exception e2) {

e2.printStackTrace();

}

return result;

}

/**

* 向指定 URL 发送POST方法的请求

* @param url

* 发送请求的 URL

* @param param

* 请求参数，请求参数应该是 name1=value1&name2=value2 的形式。

* @return 所代表远程资源的响应结果

public static String sendPost(String url, String param) {

PrintWriter out = null;

BufferedReader in = null;

String result = "";

try {

URL realUrl = new URL(url);

// 打开和URL之间的连接

URLConnection conn = realUrl.openConnection();

// 设置通用的请求属性

conn.setRequestProperty("accept", "*/*");

conn.setRequestProperty("connection", "Keep-Alive");

conn.setRequestProperty("user-agent",

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");

// 发送POST请求必须设置如下两行

conn.setDoOutput(true);

conn.setDoInput(true);

// 获取URLConnection对象对应的输出流

out = new PrintWriter(conn.getOutputStream());

// 发送请求参数

out.print(param);

// flush输出流的缓冲

out.flush();

// 定义BufferedReader输入流来读取URL的响应

in = new BufferedReader(

new InputStreamReader(conn.getInputStream()));

String line;

while ((line = in.readLine()) != null) {

result += line;

}

} catch (Exception e) {

System.out.println("发送 POST 请求出现异常！"+e);

e.printStackTrace();

}

//使用finally块来关闭输出流、输入流

finally{

try{

if(out!=null){

out.close();

}

if(in!=null){

in.close();

}

catch(IOException ex){

ex.printStackTrace();

}

return result;

}

工具类有了之后，可以看到里面有两个发送请求的方法，一个是sendGet和sendPost方法，两个方法可以基于自己的选择选用，当然这只是个发送请求的方法，如何调用？在这里的话，我们既然是从es里面查询，就没有必要使用mybatis或者hibernate框架了，可以在数据层中，自己定义sql，然后将sql将拼好的sql通过前面的工具类调用sendGet/sendPost方法，如下：

String sql=URLEncoder.encode(" select * from table");encode方法主要是去除sql里面的一些空格

String result=HTTPSentUtils.sendGet("http://221.124.71.8:9200/_sql", "sql="+sql);ip加端口自己可以在安装的时候配置

OK！一般到这个时候的发送可以成功的话，就能取到es里面的数据，因为es里面返回的都是json数据，所以我们

格式化一下json字符串

net.sf.json.JSONObject jsonObject =net.sf.json.JSONObject.fromObject(result );

//取出hits标签

net.sf.json.JSONObject hitsjsonObject = jsonObject.getJSONObject("hits");

数据拿到之后，结下来就是业务操作了。到这里也差不多结束了。

以上是查询的一些操作，那么如果我们需要将数据批量插入到es里面该如何操作？举个例子吧

package com.sojson.core.elasticsearch.manager;

import java.util.ArrayList;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import net.sf.json.JSONObject;

import org.elasticsearch.action.bulk.BulkRequestBuilder;

import org.elasticsearch.action.bulk.BulkResponse;

import org.elasticsearch.action.index.IndexRequestBuilder;

import com.sojson.common.utils.StringUtils;

import com.sojson.core.elasticsearch.utils.ESTools;

publicclassInsertManager{

/**

* 添加数据到Elasticsearch

*@param index 索引

*@param type 类型

*@param idName Id字段名称

*@param json 存储的JSON，可以接受Map

*@return

*/

publicstaticMapsave(String index,String type,String idName,JSONObject json){

List list =newArrayList();

list.add(json);

return save(index, type, idName, list);

通过传来的参数进行处理调用save方法执行插入es操作

/**

* 添加数据到Elasticsearch

*@param index 索引

*@param type 类型

*@param idName Id字段名称

*@param listData 一个对象集合

*@return

*/

@SuppressWarnings("unchecked")

publicstaticMapsave(String index,String type,String idName,List listData){

BulkRequestBuilder bulkRequest =ESTools.client.prepareBulk().setRefresh(true);

Map resultMap =newHashMap();

for(Object object: listData){

JSONObject json =JSONObject.fromObject(object);

//没有指定idName 那就让Elasticsearch自动生成，

if(StringUtils.isBlank(idName)){

IndexRequestBuilder lrb =ElasticsearchUtils.client

.prepareIndex(index, type)

.setSource(json);

bulkRequest.add(lrb);

//ElasticsearchUtils是工具类，里面配置的是一些es配置信息

else{

String idValue = json.optString(idName);

IndexRequestBuilder lrb =ESTools.client

.prepareIndex(index, type,idValue)

.setSource(json);

bulkRequest.add(lrb);

BulkResponse bulkResponse = bulkRequest.execute().actionGet();

if(bulkResponse.hasFailures()){

// process failures by iterating through each bulk response item

System.out.println(bulkResponse.getItems().toString());

resultMap.put("500","保存ES失败!");

return resultMap;

bulkRequest=ESTools.client.prepareBulk();

resultMap.put("200","保存ES成功!");

return resultMap;

ElasticsearchUtils工具类

public class ElasticsearchUtils {

private static final String CLUSTER_NAME = "cluster.name";

private static final String ES_IP="es.ip";

private static final String ES_PORT="es.port";

private static Settings settings;

private static TransportClient client;

public static TransportClient getESClient() throws UnknownHostException{

settings = Settings.builder().put(CLUSTER_NAME,ConfigUtils.getConfig(CLUSTER_NAME)).build();

if(client != null){

client = new PreBuiltTransportClient(settings).addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(ConfigUtils.getConfig(ES_IP)), Integer.parseInt(ConfigUtils.getConfig(ES_PORT))));