深入解析stedolan/jq：JSON处理工具的核心用法

深入解析stedolan/jq：JSON处理工具的核心用法

jq 项目地址: https://gitcode.com/gh_mirrors/jq1/jq

JSON作为现代数据交换的事实标准，在各种应用场景中广泛使用。stedolan/jq是一个轻量级且功能强大的命令行JSON处理器，它允许用户以高效的方式提取、转换和处理JSON数据。本文将深入探讨jq的核心概念和基本用法，帮助开发者掌握这一强大工具。

jq基础概念

jq的核心思想是将所有操作视为"过滤器"（filter）。每个过滤器接收输入并产生输出，这种设计理念使得jq能够以管道方式组合各种操作。

过滤器工作原理

• 输入输出模型：每个jq过滤器都有输入和输出，即使是简单的字面量如"hello"或42也是过滤器
• 组合方式：过滤器可以通过管道(|)连接，前一个过滤器的输出作为后一个的输入
• 多结果处理：某些过滤器会产生多个结果，后续过滤器会对每个结果分别处理

基本过滤器详解

1. 点操作符(.)

最简单的过滤器，原样输出输入内容。常用于格式化JSON数据：

echo '{"name":"John","age":30}' | jq '.'

2. 字段访问(.foo)

访问JSON对象中的字段：

echo '{"name":"John","age":30}' | jq '.name'

• 支持多级访问：.foo.bar等价于.foo | .bar
• 特殊键名需加引号：."foo$"

3. 安全访问(.foo?)

与.foo类似，但当输入不是对象时不会报错：

echo '[1,2,3]' | jq '.foo?'

4. 数组索引(.[index])

访问数组元素或对象字段（使用字符串键）：

echo '["a","b","c"]' | jq '.[1]'  # 输出"b"
echo '{"x":10,"y":20}' | jq '.["x"]'  # 输出10

5. 数组切片(.[start:end])

提取子数组或子字符串：

echo '[0,1,2,3,4]' | jq '.[1:3]'  # 输出[1,2]
echo '"abcdef"' | jq '.[1:3]'  # 输出"bc"

6. 展开操作(.[])

展开数组或对象的所有元素/值：

echo '[1,2,3]' | jq '.[]'  # 输出1,2,3（三个结果）
echo '{"a":1,"b":2}' | jq '.[]'  # 输出1,2（两个结果）

7. 逗号操作符(,)

组合多个过滤器，依次执行：

echo '{"a":1,"b":2}' | jq '.a, .b'  # 输出1和2

8. 管道操作符(|)

连接过滤器，形成处理流水线：

echo '[{"name":"John"},{"name":"Jane"}]' | jq '.[] | .name'
# 输出"John"和"Jane"

数据类型与构造

jq支持JSON的所有数据类型：数字、字符串、布尔值、数组、对象和null。

数组构造([])

echo '{"a":1,"b":2}' | jq '[.a, .b]'  # 输出[1,2]

对象构造({})

echo '{"name":"John","age":30}' | jq '{username: .name, years: .age}'
# 输出{"username":"John","years":30}

# 简写形式（字段名相同）
echo '{"name":"John","age":30}' | jq '{name, age}'

常用命令行选项

jq提供了丰富的命令行选项来控制输入输出行为：

• -n/--null-input：不使用输入，以null作为输入
• -c/--compact-output：紧凑输出（不美化）
• -r/--raw-output：直接输出原始字符串（不加JSON引号）
• -s/--slurp：将整个输入作为单个数组处理
• --arg name value：定义变量供jq程序使用

实际应用示例

1. 提取多个字段：

echo '{"user":"john","projects":["jq","bash"]}' | jq '{user, firstProject: .projects[0]}'

2. 计算数组元素和：

echo '[1,2,3,4]' | jq 'add/length'  # 计算平均值

3. 处理多个JSON对象：

echo '{"a":1}{"a":2}' | jq '.a'  # 输出1和2

4. 转换数据格式：

echo '{"name":"John"}' | jq '{fullName: .name + " Doe", age: 30}'

通过掌握这些基础概念和操作，开发者可以高效地处理各种JSON数据，构建复杂的数据转换管道。jq的强大之处在于其简洁的语法和灵活的组合方式，能够替代许多传统的文本处理工具在JSON场景下的应用。

jq 项目地址: https://gitcode.com/gh_mirrors/jq1/jq