es进行query查询的时候,当你的预期是索引树能像mysql的左前缀原理一样,先查uid,在查另外的条件内容,从而提高查询效率,那么以下的写法是错误的:
$search = [
'query' => [
'bool' => [
'must' => [
[
'term' => [
'uid' => 1466037109,
],
],
[
'match' => [
'content' => [
'query' => '我',
],
],
],
],
],
],
];
正确的写法是这样:
$search = [
'query' => [
'bool' => [
'filter' => [
[
'term' => [
'uid' => 1466037109,
],
],
],
'must' => [
[
'match' => [
'content' => [
'query' => '我',
],
],
],
],
],
],
];
filter
条件比 must
条件执行起来更快,因为 filter
条件会先缩小候选文档范围,然后再对这个范围应用其他条件。
所以第二个查询中使用了filter
条件,其性能会比第一个查询更好。
但是要注意,通常用于不计算相关性分数且对性能要求高的情况下,可以将查询条件放在filter
下,而不会影响相关性得分计算,如果你的查询需要计算得分相关就不能这样用了。
在看下下面的案例,不是所有的查询条件使用filter都会生效的
比如这个查询,查询uid+模糊匹配关键字使用了正则的wildcard,当你尝试进行优化。
$search = [
'query' => [
'bool' => [
'must' => [
[
'term' => [
'uid' => 1466037109,
],
],
[
'wildcard' => [
'content' => [
'value' => '*我*',
],
],
],
],
],
],
];
尝试优化:
$search = [
'query' => [
'bool' => [
'filter' => [
[
'term' => [
'uid' => 1466037109,
],
],
],
'must' => [
[
'wildcard' => [
'content' => [
'value' => '*我*',
],
],
],
],
],
],
];
经过调试不好意思,优化失败,部署了6个节点的es服务器,索引大小100GB,uid条件搜出来的集合只有50条数据,单独搜索uid的时间 total_time=0.2秒 。
然后加上了wildcard后,上面的两个查询都是要好几秒,最少都是3秒以上。
按照我们的预期uid搜出50条数据只用了0.2秒,在进行模糊匹配那肯定没多少开销,为什么要查询这么久?
答案如下:
通配符查询(wildcard)是一种模糊查询,它在匹配文档时允许使用通配符来匹配相应的文本。通配符查询会扫描整个索引以找到匹配的文档,这可能会导致较慢的搜索速度,尤其是在大型数据集上。另外,通配符查询无法利用倒排索引等机制实现索引唯一性,因此即使在小范围内也需要全面检查符合通配符匹配的文档。
总结:filter来规划查询优先级位次查询不是所有的查询语句都能得到优化的,大部分是可以做得到的,遇到正则这种就不行了。