【技术分享】处理JSON 数据的神器: JMESPath (二) 进阶篇

最新推荐文章于 2025-09-29 08:16:16 发布
原创 最新推荐文章于 2025-09-29 08:16:16 发布 · 4k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

前言:

【技术分享】处理JSON 数据的神器: JMESPath (一) 入门篇 文中介绍了, jmespath的基本使用方法, 如何使用 . 和[ ] 抽取json文档中的目标数据, 管道符 | 的作用和多字段处理 [ ] { }

本文继续介绍 JMESPath 的高阶用法, 包括数据过滤 和使用内置函数进行数据转换

1. 数据过滤

对于列表数据, jmespath支持基于另一个表达式比较来过滤数据元素的方法. 语法为                       [?expression] , 表达式中支持运算符

  1.  ==   !=   <   <=   >   >=   ,   比较运算符
  2.  ||   &&   ( )  ,  逻辑运算符
  3.  ` `   ' '  ,  转义运算符
In [1]: from jmespath import search

In [2]: data = {
    ...:   "locations": [
    ...:     {"name": "Seattle", "state": "WA", "size": 83.78},
    ...:     {"name": "New York", "state": "NY", "size": 302.6},
    ...:     {"name": "Bellevue", "state": "WA", "size": 37.51},
    ...:     {"name": "Olympia", "state": "WA", "size": 20.09}
    ...:   ]
    ...: }

In [3]: search("locations[?state == 'WA']", data)
Out[3]:
[{'name': 'Seattle', 'state': 'WA', 'size': 83.78},
 {'name': 'Bellevue', 'state': 'WA', 'size': 37.51},
 {'name': 'Olympia', 'state': 'WA', 'size': 20.09}]

In [4]: search("locations[?(state=='WA' && name=='Olympia') || state=='NY'] ", data)
Out[4]:
[{'name': 'New York', 'state': 'NY', 'size': 302.6},
 {'name': 'Olympia', 'state': 'WA', 'size': 20.09}]

在上面的表达式中，?state == 'WA'部分是一个筛选表达式。它将判断locations字段对应的列表中state字段是否等于WA, 只有返回为True的数据, 才会被抓取。

第二次解析, ?(state=='WA' && name=='Olympia') || state=='NY' 表达式组合了判断和逻辑运算, 抓取state==WA且name是Olympia的数据, 或者state是NY的数据, 可以看到返回的数据正是这两条.

为了解释转义运算符,我们需要修改一下data数据, 增加一条{"name": "TEST", "state": "TEST"}的数据

In [1]: from jmespath import search

In [2]: data = {
    ...:   "locations": [
    ...:     {"name": "TEST", "state": "TEST", "size": 20.09},
    ...:     {"name": "New York", "state": "NY", "size": 302.6},
    ...:     {"name": "Bellevue", "state": "WA", "size": 37.51}
    ...:   ]
    ...: }

In [3]: search("locations[?name == state]", data)
Out[3]: [{'name': 'TEST', 'state': 'TEST', 'size': 20.09}]

In [4]: search("locations[?size>`40`]", data)
Out[4]: [{'name': 'New York', 'state': 'NY', 'size': 302.6}]

筛选的表达式中, 没有引号的数据, 标识的是目标数据中对应字段的值, 所以表达式 ?name == state  筛选的的是 locations中 name和state相等的数据. 包括之前想要筛选state == 'WA' 的数据, 需要用 ' ' 对WA进行转义. 如果比较运算需要对数字进行操作, 需要用到另一个转义符  ` ` ,?size>`40`表达式, 筛选的size大于40的数据. 

jmespath 还支持应用内置函数对数据进行筛选,

In [5]: search("locations[?contains(name, 'New')]", data)
Out[5]: [{'name': 'New York', 'state': 'NY', 'size': 302.6}]

如表达式 ?contains(name, 'New'), 筛选name字段中包含'New'字符的数据.

2. 内置函数

jmespath 提供了丰富的内置函数, 支持对数据的简单处理操作. 包括格式转换, 数据断言,  求值等常用的功能. 函数参数中一个特殊字符 @ 将当前结果传递给函数, 类似于Python中的self, 支持的函数如下:

通用typenot_null lengthto_arrayto_stringto_number 
断言containsstarts_withends_with
数字absceilfloor
列表avgminmaxsumsortreversemapjoin
字典min_bymax_bysort_bymegekeysvalues

下面对内置函数进行一个全面的介绍:

2.1 通用函数

2.1.1 type

返回对应数据的数据类型, 示例:

GivenExpressionResult
“foo”type(@)“string”
truetype(@)“boolean”
falsetype(@)“boolean”
nulltype(@)“null”
123type(@)"number"
123.05type(@)"number"
["abc"]type(@)“array”
{"abc": "123"}type(@)“object”

2.1.2 not_null 

返回未解析为非null的第一个参数。

GivenExpressionResult
{"a": null, "b": null, "c": [], "d": "foo"}not_null(no_exist, a, b, c, d)[]
{"a": null, "b": null, "c": [], "d": "foo"}not_null(a, b, `null`, d, c)"foo"
{"a": null, "b": null, "c": [], "d": "foo"}not_null(a, b)null

2.1.3 length

返回数据的长度, 示例:

GivenExpressionResult
n/alength(`abc`)3
“current”length(@)7
“current”length(not_there)<error: invalid-type>
["a", "b", "c"]length(@)3
[]length(@)0
{}length(@)0
{"foo": "bar", "baz": "bam"}length(@)2

2.1.4 to_array

将数据转换成数组类型, 示例:

ExpressionResult
to_array(`[1, 2]`)[1, 2]
to_array(`"string"`)["string"]
to_array(`0`)[0]
to_array(`true`)[true]
to_array(`{"foo": "bar"}`)[{"foo": "bar"}]

2.1.5 to_string

ExpressionResult
to_string(`2`)"2"

2.1.6 to_number 

2.2 断言类函数

2.2.1  contains

判断目标数据是否包含特定字符, 示例:

GivenExpressionResult
n/acontains(`foobar`, `foo`)true
n/acontains(`foobar`, `not`)false
n/acontains(`foobar`, `bar`)true
n/acontains(`false`, `bar`)<error: invalid-type>
n/acontains(`foobar`, 123)false
["a", "b"]contains(@, `a`)true
["a"]contains(@, `a`)true
["a"]contains(@, `b`)false
["foo", "bar"]contains(@, `foo`)true
["foo", "bar"]contains(@, `b`)false

2.2.2 starts_with

判断目标数据是否以特定字符开头, 示例:

GivenExpressionResult
foobarbazstarts_with(@, ``foo)``true
foobarbazstarts_with(@, ``baz)``false
foobarbazstarts_with(@, ``f)``true

 2.2.3 ends_with

判断目标数据是否以特定字符开头, 示例:

GivenExpressionResult
foobarbazends_with(@, ``baz)``true
foobarbazends_with(@, ``foo)``false
foobarbazends_with(@, ``z)``true

2.3 求值类函数

2.3.1 对数字求值 abs, ceil, floor

内置函数, abs求绝对值, ceil向上取整,  floor 向下取整

ExpressionResult
abs(1)1
abs(-1)1
abs(`abc`)<error: invalid-type>
ExpressionResult
ceil(`1.001`)2
ceil(`1.9`)2
ceil(`1`)1
ceil(`abc`)null
ExpressionResult
floor(`1.001`)1
floor(`1.9`)1
floor(`1`)1

 2.3.2 列表求值 avg, min, max, sum

求平均值, 最大值和最小值, 求和, 示例:

GivenExpressionResult
[10, 15, 20]avg(@)15
[10, false, 20]avg(@)<error: invalid-type>
[false]avg(@)<error: invalid-type>
falseavg(@)<error: invalid-type>
GivenExpressionResult
[10, 15]min(@)10
["a", "b"]min(@)“a”
["a", 2, "b"]min(@)<error: invalid-type>
[10, false, 20]min(@)<error: invalid-type>
GivenExpressionResult
[10, 15]max(@)15
["a", "b"]max(@)“b”
["a", 2, "b"]max(@)<error: invalid-type>
[10, false, 20]max(@)<error: invalid-type>
GivenExpressionResult
[10, 15]sum(@)25
[10, false, 20]max(@)<error: invalid-type>
[10, false, 20]sum([].to_number(@))30
[]sum(@)0

2.3.3 列表求值 sort, reverse, map, join

对列表排序, 逆序, 映射, 聚合成字符串, 示例:

GivenExpressionResult
[b, a, c]sort(@)[a, b, c]
[1, a, c]sort(@)[1, a, c]
[false, [], null]sort(@)[[], null, false]
[[], {}, false]sort(@)[{}, [], false]
{"a": 1, "b": 2}sort(@)null
falsesort(@)null
GivenExpressionResult
[0, 1, 2, 3, 4]reverse(@)[4, 3, 2, 1, 0]
[]reverse(@)[]
["a", "b", "c", 1, 2, 3]reverse(@)[3, 2, 1, "c", "b", "a"]
"abcdreverse(@)dcba
GivenExpressionResult
{"array": [{"foo": "a"}, {"foo": "b"}, {}, [], {"foo": "f"}]}map(&foo, array)["a", "b", null, null, "f"]
[[1, 2, 3, [4]], [5, 6, 7, [8, 9]]]map(&[], @)[[1, 2, 3, 4], [5, 6, 7, 8, 9]]
GivenExpressionResult
["a", "b"]join(`, `, @)“a, b”
["a", "b"]join(``, @)``“ab”
["a", false, "b"]join(`, `, @)<error: invalid-type>
[false]join(`, `, @)<error: invalid-type>

2.3.4 字典求值 min_by, max_by, sort_by

根据字典中的key 求最大值,最小值和排序

ExpressionResult
min_by(people, &age){"age": 10, "age_str": "10", "bool": true, "name": 3}
min_by(people, &age).age10
min_by(people, &to_number(age_str)){"age": 10, "age_str": "10", "bool": true, "name": 3}
min_by(people, &age_str)<error: invalid-type>
min_by(people, age)<error: invalid-type>
ExpressionResult
max_by(people, &age){"age": 50, "age_str": "50", "bool": false, "name": "d"}
max_by(people, &age).age50
max_by(people, &to_number(age_str)){"age": 50, "age_str": "50", "bool": false, "name": "d"}
max_by(people, &age_str)<error: invalid-type>
max_by(people, age)<error: invalid-type>
ExpressionResult
sort_by(people, &age)[].age[10, 20, 30, 40, 50]
sort_by(people, &age)[0]{"age": 10, "age_str": "10", "bool": true, "name": 3}
sort_by(people, &to_number(age_str))[0]{"age": 10, "age_str": "10", "bool": true, "name": 3}

 2.3.5 字典求值 mege, keys, values

合并字典, 求字典的键数组, 字典的值数据

ExpressionResult
merge(`{"a": "b"}`, `{"c": "d"}`){"a": "b", "c": "d"}
merge(`{"a": "b"}`, `{"a": "override"}`){"a": "override"}
merge(`{"a": "x", "b": "y"}`, `{"b": "override", "c": "z"}`){"a": "x", "b": "override", "c": "z"}
GivenExpressionResult
{"foo": "baz", "bar": "bam"}keys(@)["foo", "bar"]
{}keys(@)[]
falsekeys(@)<error: invalid-type>
[b, a, c]keys(@)<error: invalid-type>
GivenExpressionResult
{"foo": "baz", "bar": "bam"}values(@)["baz", "bam"]
["a", "b"]values(@)<error: invalid-type>
falsevalues(@)<error: invalid-type>

总结:

本文介绍了jmespath的高阶用法, 包括数据过滤和内置函数的介绍. 可以通过表达式对目标JSON数据进行筛选, 并将抽取出的结果用函数进行转换, 提供了更高级的处理数据的能力. 

对json数据进行去重的Python实战代码
weixin_43178406的博客
08-29 16万+
 本文主要介绍了对json数据进行去重的Python实战代码，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Filebeat 推送json数据到ES出现Error decoding JSON: json:
有道无术，术尚可求，有术无道，止于术。
10-26 5889
问题描述：filebeat推送一个json对象到es中，一个json对象被拆分了多个对象。在kibana中显示如下图所示： 解决过程： ① 首先判断自己的json对象是否有效（https://www.json.cn/） ②查看filebeat的拿取json数据的格式（如果是下图多行的形式，在es中会将每一行都看成一个json对象，在kibana中显示的也将是多个json对象） ...
5. jmespath处理json数据
心语Alisen
04-06 473
安装jmespath pip install jmespath -i https://pypi.douban.com/simple 常用：(同作用其他类似库：jsonpath) 1、提取接口响应数据作为关联接口参数化数据来源 2、提取接口关键字信息作为接口校验的字段实际值与期望值比较 常见接口响应数据： response = { "code": 0, "message": "操作成功", "data": [ {"id": "421", "group_name": "前台1", "em
【技术分享】处理JSON 数据的神器: JMESPath (一) 入门篇
be5yond的博客
07-22 8924
什么是JMESPath JMESPath 是查询 JSON 数据的查询语言. 可以快速解析复杂的JSON数据. 通过定义jmespath, 可以将数据提取, 数据筛选, 数据格式转换 动作只需一步即可完成, 大大加快对于复杂的JSON数据的处理速度. 为了展示它的强大之处, 看下面这个例子, 输入如下jmespath, 对目标数据的locations字段进行处理. ① 找到locations字段下的数据, 过滤state == 'WA' 的数据, 提取name字段 ② 将结果数据传...
JMESPath Java 实现详解
最新发布
Leon_Jinhai_Sun的博客
09-29 207
JMESPath 是一种 JSON 查询语言，类似于 XPath 用于 XML。JMESPath 表达式的解析和执行支持标准的 Java 集合框架（JCF）线程安全的运行时环境。
JMESPath Java 项目教程
gitblog_00463的博客
08-20 401
JMESPath Java 项目教程 1. 项目的目录结构及介绍 JMESPath Java 项目的目录结构如下： jmespath-java/ ├── src/ │ ├── main/ │ │ ├── java/ │ │ │ ├── io/ │ │ │ │ ├── burt/ │ │ │ │ │ ├── jmespath/ │ │ ...
JMESPath 项目使用教程
gitblog_00085的博客
08-26 365
JMESPath 项目的目录结构如下： ``` jmespath.py/ ├── docs/ │ ├── examples/ │ ├── tutorial/ │ └── ... ├── jmespath/ │ ├── functions.py │ ├── parser.py │ ├── visitor.py │ └── ... ├── tests/ │ ├── c...
JSON查询语言——JMESPath
XerCis的博客
07-03 2377
JMESPath是JSON的查询语言，具有完整规范、遵循性测试套件和多语言库的特点。
处理JSON 数据的神器: JMESPath
09-30
JMESPath 是查询 JSON 数据的查询语言. 可以快速解析复杂的JSON数据. ...通过定义jmespath, 可以将数据提取, 数据筛选, 数据格式转换 动作只需一步即可完成, 大大加快对于复杂的JSON数据的处理速度
跟我一起学 Python 数据处理（二十二）：Excel 数据提取技巧进阶
yyy173611的博客
01-07 4299
在数据处理的学习之路上，我们持续探索 Python 处理 Excel 文件的奥秘。本次我们将聚焦于更高级的数据提取方法与技巧，旨在帮助大家进一步提升从 Excel 文件中获取并处理数据的能力，让我们携手共进，在数据的海洋中挖掘更多有价值的信息
echarts 全国地图json数据
08-25
在这个“echarts全国地图json数据”中，我们主要讨论的是如何使用ECharts来展示中国地图，并结合JSON数据进行动态的、交互式的可视化。 首先，JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于...
jmespath-java-1.11.939-API文档-中文版.zip
03-30
赠送jar包：jmespath-java-1.11.939.jar 赠送原API文档：jmespath-java-1.11.939-javadoc.jar 赠送源代码：jmespath-java-1.11.939-sources.jar 包含翻译后的API文档：jmespath-java-1.11.939-javadoc-API文档-中文(简体)版.zip 对应Maven信息：groupId：com.amazonaws，artifactId：jmespath-java，version：1.11.939 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
json jmespath的使用
weixin_34409822的博客
03-09 705
json jmespath的使用 在接口测试的过程中，我们经常会接触到json格式respones，我们会经常去做取JSON中某个值的操作，可以用jmespath分析、转换和选择性的提取JSON数据进行操作，功能非常强大，易读。 一. 安装 pip install jmespath 二. 基本表达式 标识符：最基本的表达式，...
jmespath使用基础
weixin_41218958的博客
08-30 1165
jmespath基础使用
jmespath（1）基础语法
weixin_43880991的博客
02-07 540
前言 JMESPath是JSON的查询语言。您可以从JSON文档中提取和转换元素 官方文档：https://jmespath.org/tutorial.html 基本表达式 JMESPath用的最多的方法就是search查询方法，下面是语法结构 search(<jmespath expr>, <JSON document>) -> <return value&...
JMESPath: 强大的处理JSON数据
Aaron_945的博客
07-13 1350
JMESPath是一种专门为JSON数据设计的查询语言。它提供了一套简洁的语法，允许我们查询和过滤JSON数据，同时支持对数据进行转换和投影。JMESPath的目的是提供一种易于使用和理解的方式，以便我们能够高效地处理JSON数据。
JMESPath 项目教程
gitblog_00487的博客
09-13 785
JMESPath 项目教程 1. 项目介绍 JMESPath（JSON Matching Expression Path）是一个用于在JSON数据中提取信息的查询语言。它允许用户通过简洁的表达式来查询和提取复杂的JSON数据结构。JMESPath 最初是为 AWS CLI 设计的，但现在已经广泛应用于各种需要处理JSON数据的场景。 JMESPath 的主要特点包括： 简洁的语法：使用类似于路径...
python中jmespath库用法详解
IT之一小佬的博客
10-29 5069
python中jmespath库用法详解
Echarts地图json数据全集：覆盖全国省市区县
资源摘要信息:"echarts地图json数据是基于ECharts（一个使用JavaScript实现的开源可视化库）的地理信息系统（GIS）数据。该数据集提供了中国全国、省份、地级市甚至是县级的地理信息，包含了大量的省市区县的JSON...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值