Python调用API接口清洗数据推送Kafka案例脚本

最新推荐文章于 2025-04-28 08:30:00 发布

是二狗诶

最新推荐文章于 2025-04-28 08:30:00 发布

阅读量333

点赞数 2

分类专栏：笔记 python 分享文章标签： python kafka 开发语言

本文链接：https://blog.youkuaiyun.com/weixin_43938093/article/details/136293675

版权

本文介绍了如何使用Python的requests库发起API请求，获取数据后，对数据进行处理，如修改字段，然后通过Kafka异步发送到特定主题。作者还展示了如何配置Kafka参数和发送数据到Kafka的详细步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
#引入需要的库文件，requests处理API连接请求
import json
#引入json库做数据处理
from kafka import KafkaProducer
#引入kafka库，调用生产者向kafka发送数据
from kafka.errors import KafkaError
#引入kafka异常库


# Kafka配置
kafka_server = '192.168.111.111:8008'  # 替换为您的Kafka服务器地址和端口
kafka_topic = 'CMDB-DATA-TEST'  # 替换为您的Kafka主题名称

# 设定每页的大小
page_size = 1000

url = "http://192.168.129.111:8081/AIPAA/CMDB/303011"
headers = {
   
    "Content-Type": "application/json",
}
#根据实际情况配置API接口

# 首先请求一次以获取总数据量
initial_data = {
   "pageNo": "1", "pageSize": str(page_size), "templateCode": "BpAppSystem_Other_ALL", "token": "acess-token=eyJh..."}
#API接口参数，根据实际情况修改参数

initial_response = requests.post(url, headers=headers, json=initial_data)
#初始化请求返回的数据，将返回值先给到initial_response保存起来
total = initial_response.json()['esbData']['content']['content']['total']
#根据实际情况提取数据字段，这里根据返回数据提取total的值

# 计算总页数
total_pages = -(-total // page_size)
#这里要考虑做向上