clickhouse-client INSERT CSV/TSV时跳过错误行

本文介绍了如何在使用clickhouse-client导入CSV或TSV文件时,通过设置`input_format_allow_errors_num`和`input_format_allow_errors_ratio`参数来跳过数据格式错误,确保数据完整性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

clickhouse-client INSERT CSV/TSV时跳过错误行

在使用clickhouse-client向ck中导入csv文件时,当csv中有个别行数据格式错误时,整个文件就插入失败了,经常会导致丢数据。

经过一番搜索,发现ck提供了两个参数可以跳过错误行,其他的行正常入库,可以满足要求。

参数说明

input_format_allow_errors_num
设置从文本格式(CSV、TSV等)读取时可接受的最大错误数。

默认值为0。

如果在读取行时发生错误,但错误数仍然小于input_format_allow_errors_num时,则ck将忽略该行并转到下一行。

input_format_allow_errors_ratio
设置从文本格式(CSV、TSV等)读取时允许的最大错误百分比。错误百分比设置为介于0和1之间的浮点数。

默认值为0。

如果在读取行时发生错误,但错误比率小于input_format_allow_errors_ratio,则ck将忽略该行并转到下一行。

两个参数可以单独设置,当超过阈值时才抛出错误。

也可以同时设置,当两个阈值都超过时,再抛出错误。

参数设置方式

在配置文件中设置

在配置文件中添加以下行即可,是作用于整个ck的,不建议这么配置。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值