查询mysql数据库，转化为es数据结构，再利用jest客户端使用dsl语句拼接成字符串，一条一条数据地传递给es服务端，最终以json格式存储

最新推荐文章于 2024-08-01 08:30:00 发布

原创最新推荐文章于 2024-08-01 08:30:00 发布 · 898 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch

jest客户端专栏收录该内容

2 篇文章

订阅专栏

博客介绍了ES客户端的选择，包括原生客户端和以jest为代表的rest api客户端。在gmall - search - service模块引入jest依赖并测试连接成功。详细说明了将MySQL数据导入ES的步骤，如查询数据、转化结构、导入ES，还提及实体类命名及数据拷贝等操作。

1、选择es的客户端，目前市面上有两种客户端

一类是transportClient为代表的es原生客户端，不能执行原生的dsl语句，必须使用它的java api方法

另一种是rest api为主的missing client，最典型的就是jest。这种客户端可以直接使用dsl语句拼成的字符串，直接传给服务端，然后返回json字符串再解析。

2、在gmall-search-service模块引入es的java客户端jest依赖

<!--es的java客户端，天然整合es，不需要再写工具类。直接在properties配置文件引入es的ip地址，然后直接使用它的接口即可-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
<!-- https://mvnrepository.com/artifact/io.searchbox/jest -->
<dependency>
    <groupId>io.searchbox</groupId>
    <artifactId>jest</artifactId>
    <version>5.3.3</version>
</dependency>
<!-- https://mvnrepository.com/artifact/net.java.dev.jna/jna -->
<dependency>
    <groupId>net.java.dev.jna</groupId>
    <artifactId>jna</artifactId>
    <version>4.5.1</version>
</dependency>

并在properties文件写好es的ip地址：

spring.elasticsearch.jest.uris=http://172.25.0.11:9200

即可使用jest客户端连接es服务了。！！！

3、debug断点测试一下客户端是否连接成功（成功了）：

在这里插入图片描述

4、mysql数据转化到es里，分三步走：

（1）查询mysql数据
（2）转化为es的数据结构
（3）导入es

5、这里需要先创建实体类，然后涉及到这个实体类的命名，尽量不要使用专业名词，万一你以后不使用这个技术了呢。

比如这样的命名：skuInfoRedis redis的缓存
应该命名为这样：skuInfoCache cache缓存

所以这里的es实体类就叫PmsSearchSkuInfo

@Id
private String id;

private String skuName;
private String skuDesc;
private String catalog3Id;

private BigDecimal price;
private String skuDefaultImg;

private double hotScore;
private String productId;
private List<PmsSkuAttrValue> skuAttrValueList;

6、把从mysql查询到的数据列表逐条拷贝给es封装对象的实体类

在这里插入图片描述

代码如下：

//查询mysql
List<PmsSkuInfo> allSkuInfo = skuService.getAllSkuInfo();

//先转给es实体类对象，再转化为es数据结构
List<PmsSearchSkuInfo> pmsSearchSkuInfos = new ArrayList<>();

for (PmsSkuInfo skuInfo : allSkuInfo) {
    //new一个es实体类对象
    PmsSearchSkuInfo pmsSearchSkuInfo = new PmsSearchSkuInfo();
    
    //把所有的skuInfo逐条拷贝给es实体类对象
    BeanUtils.copyProperties(skuInfo,pmsSearchSkuInfo);
    
    //再把逐条数据对象增添到es对象列表中
    pmsSearchSkuInfos.add(pmsSearchSkuInfo);
}

7、service后端查询所有的sku和sku相对应的平台属性和属性值

@Override
public List<PmsSkuInfo> getAllSkuInfo() {

    //查询所有的sku商品信息（外层集合）
    List<PmsSkuInfo> pmsSkuInfos = pmsSkuInfoMapper.selectAll();

    //查询每条sku商品下的平台属性和属性值（内层集合）
    for (PmsSkuInfo pmsSkuInfo : pmsSkuInfos) {
        PmsSkuAttrValue pmsSkuAttrValue = new PmsSkuAttrValue();
        pmsSkuAttrValue.setSkuId(pmsSkuInfo.getId());

        //查询符合skuId的平台属性和属性值，封装到列表，set给这一个skuId商品下的列表
        List<PmsSkuAttrValue> pmsSkuAttrValues = pmsSkuAttrValueMapper.select(pmsSkuAttrValue);
        pmsSkuInfo.setSkuAttrValueList(pmsSkuAttrValues);

    }

    return pmsSkuInfos;
}

8、上边查询到所有的sku商品了，现在导入es。

Mysql初始化需要有连接池，和redis一样。
而jest通过http访问es的，只是一个web访问，所有只需要配一个连es的地址即可，直接调用jest的封装类，转化为json的文本，插入到es即可。

在这里插入图片描述

代码如下：

//导入es
for (PmsSearchSkuInfo pmsSearchSkuInfo : pmsSearchSkuInfos) {

    //sku商品基本数据，库名，表名，id主键
    Index index = new Index.Builder(pmsSearchSkuInfo).index("gmall0105").type("PmsSkuInfo").id(pmsSearchSkuInfo.getId()).build();
    
    jestClient.execute(index);
}