1、Linux虚拟机4核32G
2、一共1000万条,如下图

3、其中的数据类型如下图,其中一个字段包括json格式的字符串,下面将对clickhouse提供的json相关函数的效率进行测试

4、通过JSONExtractString函数对json类型字段进行条件判断

5、通过测试千万级数据量下使用Json处理函数的效率也还是可以接受的,如果服务器的配置能更好的我想查询效率应该会更高,clickhouse不亏是OLAP界的翘楚。
本文探讨了一台配置为4核32GB内存的Linux虚拟机上,使用ClickHouse处理包含JSON字段的1000万条数据的效率。通过对JSONExtractString函数的测试,发现在大规模数据量下,ClickHouse的JSON处理性能仍可接受,并推测若服务器配置更优,查询效率将更佳,进一步验证了ClickHouse在OLAP领域的优势。
1、Linux虚拟机4核32G
2、一共1000万条,如下图

3、其中的数据类型如下图,其中一个字段包括json格式的字符串,下面将对clickhouse提供的json相关函数的效率进行测试

4、通过JSONExtractString函数对json类型字段进行条件判断

5、通过测试千万级数据量下使用Json处理函数的效率也还是可以接受的,如果服务器的配置能更好的我想查询效率应该会更高,clickhouse不亏是OLAP界的翘楚。

被折叠的 条评论
为什么被折叠?