从mysql数据转移存至influxdb数据库

最新推荐文章于 2024-09-26 09:20:37 发布

原创

最新推荐文章于 2024-09-26 09:20:37 发布 · 1.7k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #sqlite #数据库 #python

本文介绍如何使用Python从MySQL数据库迁移数据到InfluxDB，实现每秒约10万条记录的高效写入。代码示例展示了连接配置、数据查询及转换等关键步骤。

从mysql将数据转移存为influxdb数据库,使用python实现,实测写入每秒10W左右...

import datetime
import random
from influxdb import InfluxDBClient
import pymysql
import time
#键接influxdb
client = InfluxDBClient('localhost', 8086, 'root', '******', 'mytestdb',timeout=10)

#链接myslq
conn = pymysql.connect(host="localhost", port=3306, user="root",passwd="******",db="demo")
cursor = pymysql.cursors.Cursor(conn)

#查询mysql列表
sql = "select distinct symbol,exchange from dbbardata"
cursor.execute(sql)

#将mysql标的信息写入列表供循环写入influx用
symbol_list= []

#处理mysql获取的信息供influx写入使用.
def to_influx(info):
    info_influx = {"measurement": "bar_data","tags": {"interval": "1m","vt_symbol": info[0]+"."+info[1]},"time": info[-1],"fields": {"open_price": info[2],"high_price": info[3],"low_price": info[4],"close_price": info[5],"open_interest":info[6],"volume": info[7]}}
    return info_influx


#获取所有商品列表
while True:
    row = cursor.fetchone()
    if not row:
        break
    # print(r