Clickhouse使用SQL计算JSON串的内容

最新推荐文章于 2025-07-10 18:59:04 发布
原创 最新推荐文章于 2025-07-10 18:59:04 发布 · 799 阅读 · 1 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许可以转载。
文章标签：

#clickhouse

本文介绍了一种复杂SQL查询方法，用于处理和计算JSON字符串中的数据。通过`JSONExtractKeysAndValues`、`arrayMap`、`arrayFilter`和`arraySum`等函数，实现了对JSON字段的筛选、转换和求和操作，特别是在数据库字段包含JSON字符串时，这种SQL语法能有效解决数据处理难题。 
select 
--将json后面的值相加
arraySum(arrayMap(x -> x.2, JSONExtractKeysAndValues(concat('{"x":',extra_tag2, '}'), 'x','Int8'))) sum,
--将json前面大于180000的后面的值相加
arraySum(arrayMap(x -> x.2, arrayFilter(f -> toInt64(f.1) > 180000, JSONExtractKeysAndValues(concat('{"x":',extra_tag2, '}'), 'x','Int64')))) m3,
extra_tag2  
from  table

有时候，数据库中的某个字段内容可能是json字符串

但是对json串进行计算的时候SQL就比较难写，经过多次尝试，发现了这个复杂的SQL语法可以满足需求。

执行结果如图:

 

ClickHouse SQL语法
Daniel462038751的专栏
10-20 3103
Clickhouse常用SQL语法介绍
查询语言：ClickHouse的SQL基础与特点
AI天才研究院
02-03 681
ClickHouse是Yandex开源的一个高性能分布式 column-oriented DBSMS (Column-based Distributed SQL Management System)，它支持ANSI SQL。ClickHouse被广泛用于OLAP (Online Analytical Processing)，也就是在线分析处理领域。ClickHouse是由俄罗斯Yandex开发的，Yandex是俄罗斯最大的搜索引擎公司，类似于Google。ClickHouse适合
CLICKHOUSE中JSON解析
zjyy1987的博客
04-13 5117
Clickhouse一般使用字符串行式保存JSON数据，clickhouse提供了JSON函数，方便我们提取JSON数据。CLICKHOUSE中，没有提供Decimal类型的JSON提取函数，当要提取的字段类型为Decimal时，可以这样写。此时可以看到已经将DATA从CONTENT中提取出来，同理可以将data从DATA中提取出来。如要提取CONTENT字符串中保存的JSON数据，DATA的所有字段。–1.抽取JSON中返回值为String类型的值。–2.抽取JSON中返回值为Float类型的值。
ClickHouse解析json
weixin_45322869的博客
04-18 3728
'[{"name":"天台","tall":100,"model":"M779011"},{"name":"楼顶","tall":90,"model":"M669011"}]' AS new,如果该部分不存在或类型错误，则将返回空字符串。如果该部分不存在或类型错误，则将返回空字符串。如果该部分不存在或类型错误，则将返回空字符串。如果该部分不存在或类型错误，则将返回空数组。如果该部分不存在或类型错误，则将返回0。如果该部分不存在或类型错误，则将返回0。如果该部分不存在或类型错误，则将返回0。
单机Clickhouse对JSONExtractString函数进行测试
眼前一座山，踏平它
04-26 3200
1、Linux虚拟机4核32G 2、一共1000万条，如下图 3、其中的数据类型如下图，其中一个字段包括json格式的字符串，下面将对clickhouse提供的json相关函数的效率进行测试 4、通过JSONExtractString函数对json类型字段进行条件判断 5、通过测试千万级数据量下使用Json处理函数的效率也还是可以接受的，如果服务器的配置能更好的我想查询效率应该会更高，clickhouse不亏是OLAP界的翘楚。 ...
ClickHouse JSON 函数用法
lwei_998的专栏
04-23 8477
ClickHouse 支持的JSON函数 SELECT name FROM system.functions WHERE name LIKE '%JSON%' ; -- 1.判断JSON是否合法 SELECT isValidJSON('{"a":1}') as isValid; ┌─isValid─┐ │ 1 │ └──────┘ --2. 判断JSON是否存在某个值 select JSONHas('{"a": "hello", "b": [-100, ...
Clickhouse JSON函数
vkingnew 的技术博客
08-31 3083
JSON函数主要有关键字JSON和visit Clickhouse> select * from system.functions where name like '%JSON%' union all select * from system.functions where name like '%visit%' FORMAT PrettyCompactMonoBlock; SELECT * FROM system.functions WHERE name LIKE '%JSON%' UNION
奔走相告！ ClickHouse 全新构建了强大的 JSON 数据类型
ClickHouseDB的博客
10-30 1543
本文字数：8969；估计阅读时间：23 分钟作者：Pavel Kruglov本文在公众号【ClickHouseInc】首发。
ClickHouse发起十亿JSON文档挑战，性能完胜MongoDB、ES、DuckDB和PostgreSQL等数据库
ClickHouseDB的博客
02-22 2132
在我们的基准测试中，ClickHouse 在存储效率和查询性能方面全面超越了所有测试过的 JSON 数据存储系统。在分析型查询方面，ClickHouse 不仅更快——相比领先的 JSON 数据存储（如 MongoDB），它的速度快数千倍，相比 DuckDB 和 PostgreSQL 也是如此，并且比 Elasticsearch 快十倍以上。
access.json，某课的clickhouse+flink 实时数仓的数据文件
01-12
5. **数据分析与查询**：数据存入 Clickhouse 后，可以使用 SQL 查询接口进行实时分析。Clickhouse 提供了丰富的索引类型，如主键索引、哈希索引、树状索引等，以支持快速的数据检索和分析。 6. **可视化展示**：...
ClickHouse json解析
weixin_46680124的博客
11-23 687
ck、clickhouse、json
Clickhouse JSON表字段方法详解（处理半结构化/结构化数据方法）
大数据开发、JAVA开发、人工智能AI
02-08 5430
Clickhouse JSON表字段方法详解（处理半结构化/结构化数据方法）
ClickHouse JSON 解析
最新发布
嗨，来了，累了把，歇息一下，暂时放下一切的纷纷扰扰，享受一份自己独处的时光
07-10 709
Maybe you meant: ['JSONExtract','JSONExtractRaw']
ClickHouse存储解析JSON数据
neweastsun的专栏
03-30 7952
json数据在ClickHouse中就和string字段一样，但可以使用JSON*函数检查并抽取json键值。还可以使用抽取函数作为索引提升查询性能，但最好考虑将它们移动到单独的列中，只留下动态内容存储在JSON列中。参考：https://altinity.com/blog/clickhouse-json-data-type-version-22-6；
ClickHouse
dwjlyl
01-09 2937
CK函数，架构
ClickHouse的JSON函数中JSONExtract*和visitParamExtract*的区别
zuihouyipianyezhi的专栏
10-21 2615
比较ClickHouse的JSON函数中JSONExtract*和visitParamExtract*的区别
Clickhouse的json函数
top8488.top大数据
08-31 4953
Clickhouse的json函数 JSON函数 在Yandex.Metrica中，用户使用JSON作为访问参数。为了处理这些JSON，实现了一些函数。（尽管在大多数情况下，JSON是预先进行额外处理的，并将结果值放在单独的列中。）所有的这些函数都进行了尽可能的假设。以使函数能够尽快的完成工作。 我们对JSON格式做了如下假设： 字段名称（函数的参数）必须使常量。 字段名称必须使用规范的编码。例如：visitParamHas('{"abc":"def"}', 'abc') = 1，但是 visi.
SQL查询JSON格式的key-value值 ；；；java json 数据字典
升级打怪
04-13 6061
SQL查询JSON格式的key-value值 java json 数据字典 例如：字段名称为：product 字段值：{“name”:“iphone”,“price”:“￥1000”} 示例表： 现在查询该表中product字段里面的key为“name”的value值： select JSON_EXTRACT(product ,'$.name') from tab_product 完美！！...
笔记——PostgreSQL操作JSON数据
qq_36335426的博客
12-07 4162
一、常用语法 jsonb是json的二进制形式 // -> 返回json select '[{"a":"foo"},{"b":"bar"},{"c":"baz"}]'::json->2 // 输出 {"c":"baz"} select '{"a": {"b":"foo"}, "c":{"a": "aaa"}}'::json->'a' // 输出 {"b":"foo"} // ->> 返回文本 select '[{"a":"foo"},{"b":"bar"},{"c
clickhouse的sql查询语句
03-26
可以通过多种方式完成这一过程，其中最常用的是通过文件导入或者直接插入 JSON 格式的字符串。 实例： ```bash clickhouse-client --query="INSERT INTO my_table FORMAT TabSeparated" ``` 这里演示了怎样利用...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xcagy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值