clickhouse-client INSERT CSV/TSV时跳过错误行

clickhouse-client INSERT CSV/TSV时跳过错误行

在使用clickhouse-client向ck中导入csv文件时，当csv中有个别行数据格式错误时，整个文件就插入失败了，经常会导致丢数据。

经过一番搜索，发现ck提供了两个参数可以跳过错误行，其他的行正常入库，可以满足要求。

参数说明

input_format_allow_errors_num
设置从文本格式（CSV、TSV等）读取时可接受的最大错误数。

默认值为0。

如果在读取行时发生错误，但错误数仍然小于input_format_allow_errors_num时，则ck将忽略该行并转到下一行。

input_format_allow_errors_ratio
设置从文本格式（CSV、TSV等）读取时允许的最大错误百分比。错误百分比设置为介于0和1之间的浮点数。

默认值为0。

如果在读取行时发生错误，但错误比率小于input_format_allow_errors_ratio，则ck将忽略该行并转到下一行。

两个参数可以单独设置，当超过阈值时才抛出错误。

也可以同时设置，当两个阈值都超过时，再抛出错误。

参数设置方式

在配置文件中设置

在配置文件中添加以下行即可，是作用于整个ck的，不建议这么配置。