[ClickHouse] 使用 Pandas 读写 ClickHouse

最新推荐文章于 2025-04-06 09:50:33 发布

風の唄を聴け

最新推荐文章于 2025-04-06 09:50:33 发布

阅读量9.8k

点赞数 12

分类专栏： ClickHouse 文章标签： clickhouse pandas

本文链接：https://blog.youkuaiyun.com/weixin_42902669/article/details/109954641

版权

本文介绍了如何利用Pandas与clickhouse_driver库进行ClickHouse数据的读取和写入。读取时，推荐使用clickhouse_driver，而写入时需要处理DataFrame的数据类型以匹配ClickHouse的要求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Pandas 本身不支持 ClickHouse 相关操作, 本篇博客主要是记录一下自己封装的一些读写操作, 所以严格来说标题应该是: 如何从 ClickHouse 读取数据到 DataFrame 及将 DataFrame 写入 ClickHouse.

一. Pandas 读取 ClickHouse

GitHub 上面有几个 Python 操作 ClickHouse 的开源项目, 不过收藏数量都不多(几百个 star), 经过试用, 发现 clickhouse_driver 这个项目相对靠谱一点, 先使用 pip 安装 clickhouse_driver, 读取数据的代码如下:

from clickhouse_driver import Client
import pandas as pd
import re

client = Client(host='xxx', database='xxx', user='xxx', password='xxx')

def read_sql(sql):
	data, columns = client.execute(sql, columnar=True, with_column_types=True)
    df = pd.DataFrame({
   re.sub(r'\W', '_', col[0]): d for d, col in zip