深入理解elasticsearch-dsl-py中的异步操作支持

宁菁令

于 2025-06-10 09:17:39 发布

阅读量354

点赞数 5

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00538/article/details/148552157

深入理解elasticsearch-dsl-py中的异步操作支持

elasticsearch-dsl-py High level Python client for Elasticsearch 项目地址: https://gitcode.com/gh_mirrors/el/elasticsearch-dsl-py

前言

在现代Python开发中，异步编程已经成为处理I/O密集型任务的标准方式。elasticsearch-dsl-py作为Elasticsearch的高级Python客户端，自然也提供了对异步编程的全面支持。本文将深入探讨如何在项目中使用asyncio与elasticsearch-dsl-py进行交互。

异步环境准备

要使用elasticsearch-dsl-py的异步功能，首先需要安装异步依赖包。这可以通过安装[async]额外依赖来实现：

pip install elasticsearch-dsl[async]

这个命令会自动安装所有必要的异步依赖，包括aiohttp等库。

异步连接管理

与同步版本不同，异步连接需要使用专门的async_connections模块进行管理：

from elasticsearch_dsl import async_connections

async def setup_es():
    await async_connections.create_connection(
        hosts=['localhost'],
        timeout=20
    )

async_connections模块提供了与同步connections模块相同的接口，包括连接创建、获取和配置等功能。

连接关闭注意事项

在使用异步客户端时，一个常见问题是程序退出时出现"Unclosed client session/connector"警告。这是因为aiohttp的连接在垃圾回收时仍处于打开状态。正确的做法是显式关闭连接：

async def cleanup():
    es = async_connections.get_connection()
    await es.close()

异步搜索操作

elasticsearch-dsl-py提供了AsyncSearch类来执行异步搜索操作。使用方式与同步版本类似，但需要使用await关键字：

from elasticsearch_dsl import AsyncSearch

async def search_python():
    s = AsyncSearch().query("match", title="python")
    async for hit in s:
        print(hit.title)

也可以显式调用execute方法获取Response对象：

async def search_explicit():
    s = AsyncSearch().query("match", title="python")
    response = await s.execute()
    for hit in response:
        print(hit.title)

批量异步搜索

对于需要同时执行多个搜索请求的场景，可以使用AsyncMultiSearch：

from elasticsearch_dsl import AsyncMultiSearch

async def multi_search():
    ms = AsyncMultiSearch(index='blogs')
    ms = ms.add(AsyncSearch().filter('term', tags='python'))
    ms = ms.add(AsyncSearch().filter('term', tags='elasticsearch'))
    
    responses = await ms.execute()
    
    for response in responses:
        print(f"Results for query {response.search.query}")
        for hit in response:
            print(hit.title)