python发送数据到kafka

最新推荐文章于 2025-06-11 19:49:24 发布

原创最新推荐文章于 2025-06-11 19:49:24 发布 · 7.5k 阅读

14 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

31 篇文章

订阅专栏

本文介绍了一种使用Python实现的数据发送至Kafka的简易方法，通过定义类`operateKafka`，并提供`sendMessage`方法，该方法接受数据列表作为参数，将数据转换为字典并序列化为JSON字符串，然后通过同步生产者发送到指定的Kafka主题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# coding=utf-8
from pykafka import KafkaClient
import json

class operateKafka:
    def __init__(self):
        myhosts = "xxxx:9096,xxxx:9096"
        client = KafkaClient(hosts=myhosts)                         # 可接受多个Client这是重点
        self.topic = client.topics['xxxx']    # 选择一个topic

    """
    function:send message to kafka
    dataList:数据格式是list，每个元素是tuple格式
    author:01376233
    at:2019-01-18 16:43
    """
    def sendMessage(self, dataList):
        with self.topic.get_sync_producer() as producer:
            for data in dataList:
                # transform tuple to dic
                mydict = {'t1': data[0], 't2': data[1], 't3': data[2]}
                python_to_json = json.dumps(mydict, ensure_ascii=False)
                producer.produce((str(python_to_json)).encode())


df = [('a111', 'a2', 'a3'), ('b111', 'b2', 'b3'), ('c111', 'c2', 'c3')]
myopKafka = operateKafka()
myopKafka.sendMessage(df)

功能背景：需要将数据发送到kafka，所以实现了这个简易版本。