Spring 整合 Elasticsearch

原创 已于 2024-03-12 15:58:48 修改 · 1.9k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #java #spring #后端

于 2024-03-12 15:49:51 首次发布
博客介绍了Spring项目链接Elasticsearch的方法。先确定引入版本，可使用‘Spring Boot Starter Data Elasticsearch’，要结合项目版本选择。接着编写启动类，通过简单注解配置完成Java实体和ES文档的映射，还给出编写请求示例的相关内容。

确定引入版本

Spring 项目中专门有链接ES的组件 ，可以方便快速的链接ES。官方文档一般都会有版本对照的说明 版本对照
在这里插入图片描述
同时也提供了更为方便的“Spring Boot Starter Data Elasticsearch” 。
在这里我们使用的是“Spring Boot Starter Data Elasticsearch » 2.6.15” 这里要注意结合自己项目版本选择正确的“Spring Boot Starter Data Elasticsearch“版本
在这里插入图片描述
引入到项目即可

			<dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
                <version>2.6.15</version>
            </dependency>

编写启动类

import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.elasticsearch.client.ClientConfiguration;
import org.springframework.data.elasticsearch.client.RestClients;
import org.springframework.data.elasticsearch.config.AbstractElasticsearchConfiguration;

@Configuration
public class ElasticsearchConfig extends AbstractElasticsearchConfiguration {

    @Value("${elasticsearch-config.connected}")
    private String connected;

    @Value("${elasticsearch-config.userName}")
    private String userName;

    @Value("${elasticsearch-config.password}")
    private String password;

    @Override
    public RestHighLevelClient elasticsearchClient() {
        final ClientConfiguration clientConfiguration = ClientConfiguration.builder()
                // ES ip:端口
                .connectedTo(connected)
                // ES 账号密码
                .withBasicAuth(userName, password)
                .withConnectTimeout(15000L)
                .withSocketTimeout(3000L)
                .build();
        return RestClients.create(clientConfiguration).rest();
    }
}

编写映射

我们仅需简单的注解配置即可完成java 实体和 ES文档的映射
这里推荐一个 大佬的博文

import lombok.*;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;

@ToString(callSuper = true)
@EqualsAndHashCode(callSuper = true)
@Data
@NoArgsConstructor
@AllArgsConstructor
// 这里indexName 要与 ES索引名对应，别名也行。
@Document(indexName = "product_spu", createIndex = false)
public class ProductSpuEntity extends BaseEntity {

    @Field(type = FieldType.Text)
    private String name;

    @Field(type = FieldType.Text, name = "name_pinyin")
    private String namePinyin;

    @Field(type = FieldType.Text, name = "product_code")
    private String productCode;

    @Field(type = FieldType.Text, name = "spec_code")
    private String specCode;

    @Field(type = FieldType.Text, name = "product_spec")
    private String productSpec;

    @Field(type = FieldType.Text, name = "sku_number")
    private String skuNumber;

    @Field(type = FieldType.Integer, name = "product_type")
    private Integer productType;

    @Field(type = FieldType.Integer)
    private Integer status;

    @Field(type = FieldType.Text)
    private String remark;

}

编写请求示例

import com.google.common.collect.Lists;
import com.google.common.collect.Sets;
import com.xxxx.component.base.config.ElasticsearchBaseConfig;
import com.xxxx.domain.dto.foundation.pagehelp.entity.PageBO;
import com.xxxx.domain.dto.foundation.pagehelp.util.PageUtil;
import com.xxxx.foundation.base.ElasticsearchHighlightContext;
import org.apache.commons.collections4.MapUtils;
import org.apache.commons.lang3.BooleanUtils;
import org.apache.commons.lang3.StringUtils;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.MultiMatchQueryBuilder;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.elasticsearch.core.ElasticsearchOperations;
import org.springframework.data.elasticsearch.core.SearchHit;
import org.springframework.data.elasticsearch.core.SearchHits;
import org.springframework.data.elasticsearch.core.query.NativeSearchQuery;
import org.springframework.data.elasticsearch.core.query.NativeSearchQueryBuilder;
import org.springframework.stereotype.Component;

import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.stream.Collectors;

@Component
public class ProductQueryManager {

    @Autowired
    private ElasticsearchOperations elasticsearchOperations;

    @Autowired
    private ElasticsearchHighlightContext elasticsearchHighlightContext;

    @Autowired
    private ElasticsearchBaseConfig elasticsearchBaseConfig;

    public <T> List<T> spuQuery(Long corpId, String keyWord, Integer pageNum, Integer pageSize,
                                Boolean hideStop, Boolean needProductBundle,
                                Class<T> clazz) {
        BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery().must(QueryBuilders.matchQuery("corp_id", corpId.toString()));
        if (BooleanUtils.isTrue(hideStop)) {
            boolQueryBuilder.must(QueryBuilders.termQuery("status", 1));
        }
        if (BooleanUtils.isFalse(needProductBundle)) {
            boolQueryBuilder.must(QueryBuilders.termQuery("product_type", 1));
        }
        // boost 设置权重  caseInsensitive 忽略大小写
        boolQueryBuilder.should(QueryBuilders.termQuery("name", keyWord).boost(elasticsearchBaseConfig.getProductNameTermBoost()).caseInsensitive(true));
        boolQueryBuilder.should(QueryBuilders.termQuery("sku_number", keyWord).boost(elasticsearchBaseConfig.getSkuNumberTermBoost()).caseInsensitive(true));
        if (isPureLetters(keyWord)) {
            // 若是纯英文字符则查询拼音
            boolQueryBuilder.should(QueryBuilders.termQuery("name.pinyin", keyWord).boost(elasticsearchBaseConfig.getProductNameTermBoost()));
        }
        boolQueryBuilder.should(QueryBuilders.termQuery("product_code", keyWord).boost(elasticsearchBaseConfig.getProductCodeTermBoost()).caseInsensitive(true));
        MultiMatchQueryBuilder multiMatchQueryBuilder = QueryBuilders.multiMatchQuery(keyWord)
                .field("name", elasticsearchBaseConfig.getProductNameFuzzyBoost())
                .field("name.ngram", elasticsearchBaseConfig.getProductNameFuzzyBoost())
                .field("product_code")
                .field("product_code.ngram")
                .field("sku_number", elasticsearchBaseConfig.getProductSkuNumberFuzzyBoost())
                .field("sku_number.ngram", elasticsearchBaseConfig.getProductSkuNumberFuzzyBoost())
                .field("product_spec", elasticsearchBaseConfig.getProductSpecFuzzyBoost())
                .field("product_spec.ngram", elasticsearchBaseConfig.getProductSpecFuzzyBoost())
                .field("spec_code", elasticsearchBaseConfig.getSpecCodeFuzzyBoost())
                .field("spec_sku_number", elasticsearchBaseConfig.getProductSkuNumberFuzzyBoost())
                .field("spec_sku_number.ngram", elasticsearchBaseConfig.getProductSkuNumberFuzzyBoost())
                .field("spec_code.ngram");
        if (isPureLetters(keyWord)) {
            multiMatchQueryBuilder.field("name.pinyin", elasticsearchBaseConfig.getProductNameFuzzyBoost())
                    .field("name_pinyin", elasticsearchBaseConfig.getProductNameFuzzyBoost())
                    .field("sku_number.pinyin", elasticsearchBaseConfig.getProductSkuNumberFuzzyBoost())
                    .field("spec_sku_number.pinyin", elasticsearchBaseConfig.getProductSkuNumberFuzzyBoost())
                    .field("product_spec.pinyin", elasticsearchBaseConfig.getProductSpecFuzzyBoost());
        }
        boolQueryBuilder.should(multiMatchQueryBuilder);
        HighlightBuilder highlightBuilder = new HighlightBuilder()
                .field("name")
                .field("name.ngram")
                .field("product_code")
                .field("product_code.ngram")
                .field("sku_number")
                .field("sku_number.ngram")
                .field("product_spec")
                .field("product_spec.ngram")
                .field("spec_code")
                .field("spec_code.ngram");
        if (isPureLetters(keyWord)) {
            highlightBuilder.field("name.pinyin")
                    .field("sku_number.pinyin")
                    .field("product_spec.pinyin");
        }
        // 至少需要满足一个should条件
        boolQueryBuilder.minimumShouldMatch(1);
        return nativeSearchQuery(boolQueryBuilder, highlightBuilder, pageNum, pageSize, clazz);
    }


    public <T> List<T> nativeSearchQuery(QueryBuilder queryBuilder, HighlightBuilder highlightBuilder, Integer pageNum, Integer pageSize, Class<T> clazz) {
        PageBO page = new PageBO();
        page.setPageNum(pageNum);
        page.setPageSize(pageSize);
        // es分页从0开始的
        pageNum = pageNum - 1;
        if (pageNum < 0) {
            pageNum = 0;
        }
        NativeSearchQuery nativeSearchQuery = new NativeSearchQueryBuilder()
                // 查询设置
                .withQuery(queryBuilder)
                // 高亮设置
                .withHighlightBuilder(highlightBuilder)
                // 分页设置
                .withPageable(PageRequest.of(pageNum, pageSize))
                .build();
        Set<String> highlightSet = Sets.newHashSet();
        SearchHits<T> searchHits = elasticsearchOperations.search(nativeSearchQuery, clazz);
        // 处理高亮数据
        List<SearchHit<T>> searchHitList = searchHits.stream().collect(Collectors.toList());
        for (SearchHit<T> searchHit : searchHitList) {
            Map<String, List<String>> highlightFields = searchHit.getHighlightFields();
            if (MapUtils.isNotEmpty(highlightFields)) {
                highlightFields.values().forEach(data -> {
                    data.forEach(highlightValues -> {
                        highlightSet.addAll(extractHighlightValue(highlightValues));
                    });
                });
            }
        }
        page.setTotal(searchHits.getTotalHits());
        PageUtil.setPage(page);
        // 将高亮数据放入本地线程变量，elasticsearchHighlightContext 是一个 TransmittableThreadLocal，自己建的
        elasticsearchHighlightContext.setContext(Lists.newArrayList(highlightSet));
        return searchHits.stream().map(SearchHit::getContent).collect(Collectors.toList());
    }

    public Set<String> extractHighlightValue(String str) {
        String regex = "<em>(.*?)</em>";
        Pattern pattern = Pattern.compile(regex);
        Matcher matcher = pattern.matcher(str);
        Set<String> extractedChars = new HashSet<>();
        while (matcher.find()) {
            String extractedChar = matcher.group(1);
            if (StringUtils.isBlank(extractedChar)) {
                continue;
            }
            extractedChars.add(extractedChar);
        }
        return extractedChars;
    }

    public boolean isPureLetters(String str) {
        return str.matches("[a-zA-Z]+");
    }
}
SpringBoot集成Elasticsearch 7.x spring-boot-starter-data-elasticsearch 方式
m0_67390788的博客
12-07 1525
由 Spring 提供，是 Spring 在 ES 官方接口基础之上的二次封装，使用简单，易于上手；缺点是更新太慢，SpringBoot 2.2.x 才提供对 es7.x 的支持，版本关联性很大，不易维护；不过在此还是讲一下 starter 启动器下的 集成步骤，万一官方更新速度加快了呢。Java High Level Rest Client方式 去集成 Elasticsearch（这个是目前公司常用的方式）就要遵守 自定义方法命名规范【自定义方法命名约定】：/**
从零开始的Elasticsearch学习-springboot整合Elasticsearch(非响应式)
最新发布
xujj的博客
04-11 1083
本文介绍springboot整合Elasticsearch相关内容。官方文档和api手册：https://docs.spring.io/spring-data/elasticsearch/docs/各位同学可以根据自己使用的spring-data-elasticsearch版本在官方文档学习可以快速上手如果使用spring-boot-starter-data-elasticsearch依赖，在其子包可以看spring-data-elasticsearch版本注意。
spring与es集成(elasticsearch学习笔记)
吾毅笙
08-09 5390
本文仅用来记录平常学习所得,也希望能帮助到所有需要的人 实体类如下: @Document(indexName = "test2",type = "score") public class Score implements Serializable { @Id @Field(index = FieldIndex.not_analyzed,type = FieldType.I
Spring整合Elasticsearch
有趣的灵魂万里挑一,好看的皮囊你又没有
07-06 2823
Spring整合Elasticsearch对索引库的新增和简单查询
【Java】SpringBoot快速整合ElasticSearch
m0_64210833的博客
12-29 9735
SpringBoot快速整合ElasticSearch
spring整合elasticsearch-2.3.5
09-05
本示例程序主要是spring 整合elasticsearch-2.3.5的实践，测试时先将配置文件es.properties中ES服务端es.ip，es.port, es.cluster 配置替换成自己的服务器信息
Spring整合ElasticSearch
码农的在线笔记
03-22 1571
ES集群： ES为Java内置了两套客户端（通过9300端口通信） ps：其他语言使用9200端口与ES通信 集群状态 结构化语句： 项目 结构化查询（Query DSL） 结构化过滤（Filter DSL） 目的 询问每个文档目标字段的值与目标值的匹配程度如何 检查是否包含特定值 适用范围 全文本搜索，相关性评分 剩下的所有 性能 因为需要计算相关性，耗时，且不可缓...
SpringBoot整合Spring Data Elasticsearch的过程详解
08-25
"SpringBoot整合Spring Data Elasticsearch的过程详解" SpringBoot整合Spring Data Elasticsearch是将SpringBoot框架与Elasticsearch搜索引擎进行整合，以实现数据的搜索和索引功能。下面将详细介绍SpringBoot整合...
es(elasticsearch)整合SpringCloud（SpringBoot）搭建教程详解
08-19
在本教程中，我们将探讨如何将Elasticsearch与SpringBoot和SpringCloud进行集成，以便在微服务架构中利用Elasticsearch强大的搜索和分析能力。Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，而...
35 Spring整合Elasticsearch
ShirleyZ1007的博客
03-03 1200
得到的两份数据，需要用SearchResultMapper进行组装，但默认实现类底层没有组装，即底层获取得到了高亮显示部分, 但是没有返回（结果里看不到）.要对spring说明哪个实体类和es的索引怎样进行对应，建立映射关系，映射完成后，spring底层就可以帮我们生成实现类。getFragments()：返回值是个数组，将内容做了分段，每一段都是 匹配的词语 前后的一部分内容，如上图。所有的代码都是Spring自动生成的，Spring会自动将实体数据和es服务器的索引进行映射，因此需要用注解。
elasticsearch spring 集成
12-14
elasticsearch spring 集成,用到maven elasticsearch服务下载包括其中插件和分词，可以简单参考下
springMVC整合elasticsearch，基于maven
06-15
简单整合，不是spring-data，无api操作示例
Spring集成ElasticSearch搜索引擎
燕归来兮
09-09 384
个人博客原文链接 更多文章欢迎访问个人博客站点   ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。   我们建立一...
Spring集成Elasticsearch
xulong5000的专栏
07-15 1970
依赖组件 <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-elasticsearch</artifactId> </dependency> 配置 spring: elasticsearch: rest: uris: - ip1:port
6.2 Spring整合Elasticsearch
Big Data
11-07 361
1. 引入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> 2. 配置Es # Elas...
Elasticsearch与Spring的集成
AI天才研究院
01-28 981
1.背景介绍 1. 背景介绍 Elasticsearch是一个基于Lucene的搜索引擎，它具有分布式、实时、可扩展的特点。Spring是一个Java平台上的开源框架，它提供了大量的功能，如依赖注入、事务管理、安全性等。在现代应用中，Elasticsearch和Spring是常见的技术组合，可以提供高性能、可扩展的搜索功能。本文将介绍Elasticsearch与Spring的集成，以及如何实现...
Spring 整合 ElasticSearch(全文检索服务)
cn_yaojin
01-16 3060
原文地址：  https://blog.youkuaiyun.com/Orangesss_/article/details/82260749 https://blog.youkuaiyun.com/chinabestchina/article/details/80753879   Spring 整合 ElasticSearch(全文检索服务) 1.为什么要使用ES? 数据库查询有缺点? 数据越大, 查询效率...
Spring整合Elasticsearch实战：代码详解
"本文详细介绍了如何在Spring框架中集成并使用Elasticsearch，涵盖了Elasticsearch的基本概念、特性以及最佳实践。" 在Spring中使用Elasticsearch是一个常见的实践，特别是对于那些需要高效全文检索功能的应用。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值