python发送数据到kafka

本文介绍了一种使用Python实现的数据发送至Kafka的简易方法,通过定义类`operateKafka`,并提供`sendMessage`方法,该方法接受数据列表作为参数,将数据转换为字典并序列化为JSON字符串,然后通过同步生产者发送到指定的Kafka主题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

# coding=utf-8
from pykafka import KafkaClient
import json

class operateKafka:
    def __init__(self):
        myhosts = "xxxx:9096,xxxx:9096"
        client = KafkaClient(hosts=myhosts)                         # 可接受多个Client这是重点
        self.topic = client.topics['xxxx']    # 选择一个topic

    """
    function:send message to kafka
    dataList:数据格式是list,每个元素是tuple格式
    author:01376233
    at:2019-01-18 16:43
    """
    def sendMessage(self, dataList):
        with self.topic.get_sync_producer() as producer:
            for data in dataList:
                # transform tuple to dic
                mydict = {'t1': data[0], 't2': data[1], 't3': data[2]}
                python_to_json = json.dumps(mydict, ensure_ascii=False)
                producer.produce((str(python_to_json)).encode())


df = [('a111', 'a2', 'a3'), ('b111', 'b2', 'b3'), ('c111', 'c2', 'c3')]
myopKafka = operateKafka()
myopKafka.sendMessage(df)

功能背景:需要将数据发送到kafka,所以实现了这个简易版本。

 

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值