es(elasticsearch) 查询(query)利用filter做优先级优化从而提高查询性能

es进行query查询的时候,当你的预期是索引树能像mysql的左前缀原理一样,先查uid,在查另外的条件内容,从而提高查询效率,那么以下的写法是错误的:

$search = [
    'query' => [
        'bool' => [
            'must' => [
                [
                    'term' => [
                        'uid' => 1466037109,
                    ],
                ],
                [
                    'match' => [
                        'content' => [
                            'query' => '我',
                        ],
                    ],
                ],
            ],
        ],
    ],
];

正确的写法是这样:

$search = [
    'query' => [
        'bool' => [
            'filter' => [
                [
                    'term' => [
                        'uid' => 1466037109,
                    ],
                ],
            ],
            'must'   => [
                [
                    'match' => [
                        'content' => [
                            'query' => '我',
                        ],
                    ],
                ],
            ],
        ],
    ],
];

filter 条件比 must 条件执行起来更快,因为 filter 条件会先缩小候选文档范围,然后再对这个范围应用其他条件。

所以第二个查询中使用了filter条件,其性能会比第一个查询更好。

但是要注意,通常用于不计算相关性分数且对性能要求高的情况下,可以将查询条件放在filter下,而不会影响相关性得分计算,如果你的查询需要计算得分相关就不能这样用了。


在看下下面的案例,不是所有的查询条件使用filter都会生效的

比如这个查询,查询uid+模糊匹配关键字使用了正则的wildcard,当你尝试进行优化。

$search = [
    'query' => [
        'bool' => [
            'must'   => [
                [
                    'term' => [
                        'uid' => 1466037109,
                    ],
                ],
                [
                    'wildcard' => [
                        'content' => [
                            'value' => '*我*',
                        ],
                    ],
                ],
            ],
        ],
    ],
];

尝试优化:

$search = [
    'query' => [
        'bool' => [
            'filter' => [
                [
                    'term' => [
                        'uid' => 1466037109,
                    ],
                ],

            ],
            'must'   => [
                [
                    'wildcard' => [
                        'content' => [
                            'value' => '*我*',
                        ],
                    ],
                ],
            ],
        ],
    ],
];

经过调试不好意思,优化失败,部署了6个节点的es服务器,索引大小100GB,uid条件搜出来的集合只有50条数据,单独搜索uid的时间 total_time=0.2秒 。

然后加上了wildcard后,上面的两个查询都是要好几秒,最少都是3秒以上。

按照我们的预期uid搜出50条数据只用了0.2秒,在进行模糊匹配那肯定没多少开销,为什么要查询这么久?

答案如下:

通配符查询(wildcard)是一种模糊查询,它在匹配文档时允许使用通配符来匹配相应的文本。通配符查询会扫描整个索引以找到匹配的文档,这可能会导致较慢的搜索速度,尤其是在大型数据集上。另外,通配符查询无法利用倒排索引等机制实现索引唯一性,因此即使在小范围内也需要全面检查符合通配符匹配的文档。

总结:filter来规划查询优先级位次查询不是所有的查询语句都能得到优化的,大部分是可以做得到的,遇到正则这种就不行了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值