python消费kafka数据批量插入到es

最新推荐文章于 2025-07-05 18:05:16 发布

亮亮爱吃虾

最新推荐文章于 2025-07-05 18:05:16 发布

阅读量3.3k

点赞数 2

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/liagliang/article/details/78712475

本文介绍了如何使用Python结合pykafka消费Kafka数据，并利用Elasticsearch进行批量插入。首先，配置信息存储在logging.conf文件中，通过sudo pip install Elasticsearch2安装依赖。接着，由于Kafka版本限制，使用get_simple_consumer并设置每个应用消费一个partition，以避免重复消费。同时，设置consumer_timeout_ms超时等待时间，确保数据在一定时间内批量插入到Elasticsearch。代码中采用while True循环以持续消费数据。目前该方案正处于批量压测阶段，欢迎交流讨论。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、es的批量插入

这是为了方便后期配置的更改，把配置信息放在logging.conf中
用elasticsearch来实现批量操作，先安装依赖包，sudo pip install Elasticsearch2

from elasticsearch import Elasticsearch  
class ImportEsData:

    logging.config.fileConfig("logging.conf")
    logger = logging.getLogger("msg")

    def __init__(self,hosts,index,type):
       self.es = Elasticsearch(hosts=hosts.strip(',').split(','), timeout=5000)
       self.index = index
       self.type = type


    def set_date(self,data):  
        # 批量处理  
        # es.index(index="test-index",doc_type="test-type",id=42,body={"any":"data","timestamp":datetime.now()})
        self.es.index(index=self.index,doc_type=self.index,body=data)

2、使用pykafka消费kafka

1.因为kafka是0.8，pykafka不支持zk，只能用get_simple_consumer来实现
2.为了实现多个应用同时消费而且不重消费，所以一个应用消费一个partition
3. 为是确保消费数据量在不满足10000这个批量值，能在一个时间范围内插入到es中，这里设置consumer_timeout_ms一个超时等待时间，退出等待消费阻塞。
4.退出等待消费阻塞后导致无法再消费数据，因此在获取self.consumer 的外层加入了while True 一个死循环

#!/usr/bin/python
# -*- coding: UTF-8 -*-
f

最低0.47元/天解锁文章

200万优质内容无限畅学