python 通过csv插入数据到clickhouse

最新推荐文章于 2025-07-15 16:19:48 发布

原创

最新推荐文章于 2025-07-15 16:19:48 发布 · 1.3w 阅读

24 ·

CC 4.0 BY-SA版权

本文详细介绍了如何使用Python将CSV数据高效地插入到ClickHouse数据库中，包括连接ClickHouse、读取CSV文件、数据格式转换以及实际的插入操作，3万行数据仅用时2.3秒。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一步：连接clickhouse

第二步：读取CSV

第三步：转换成与clickhouse相匹配的数据

第四步：插入，3万行耗时2.3s

from clickhouse_driver import Client
import types 
import time,datetime
from datetime import date

import csv


client = Client(host='192.168.1.231',database='test6',user='default',password='')
creattable="""CREATE TABLE test1 (\
				consumption_id UInt64,\
				member_id UInt64,\
				fans_id UInt64,\
				bill_date Date,\
				money Float32,\
				people_num UInt8,\
				dish_name String,\
				created_org UInt8,\
				open_id String,\
				subscribed_time DateTime,\
				unsubscribed_time DateTime,\
				source_type UInt8,\
				sns_type UInt8,\
				is_subscribed UInt8\
				)ENGINE=MergeTree(bill_date,(consumption_id,created_org),8192)"""
client.execute('DROP TABLE IF EXISTS test1')
data=[]
with open(r'C:\Users\Administrator\Desktop\test.csv') as csvfile:  
	readCSV = csv.reader(csvfile, delimiter=',')  
	for row in readCSV: 
		row[0]=int(row[0])
		row[1]=int(r