10分钟上手yq：从JSON杂乱数据到可视化图表的转换方法

10分钟上手yq：从JSON杂乱数据到可视化图表的转换方法

【免费下载链接】yq yq is a portable command-line YAML, JSON, XML, CSV, TOML and properties processor 项目地址: https://gitcode.com/GitHub_Trending/yq/yq

你是否还在为JSON数据的混乱结构头疼？是否尝试过用复杂脚本提取图表所需数据却屡屡失败？本文将带你掌握yq这个强大的命令行工具，通过5个实用案例，让你在10分钟内轻松将JSON数据转换为清晰的图表格式，从此告别繁琐的数据处理工作。读完本文，你将学会：JSON数据筛选与提取、CSV格式转换、数据聚合计算、图表数据格式化以及自动化数据处理流程。

yq简介：不止于YAML的全能数据处理器

yq是一款轻量级的命令行工具，支持YAML、JSON、XML、CSV、TOML等多种数据格式的处理。它采用类jq语法，让你能够轻松地查询、过滤、转换和格式化各种数据。与其他数据处理工具相比，yq具有跨平台、无需依赖、语法简洁等优势，是数据处理和可视化前准备工作的理想选择。

安装yq

在开始之前，我们需要先安装yq。根据你的操作系统，选择以下适合的安装方式：

• Linux:

  wget https://github.com/mikefarah/yq/releases/latest/download/yq_linux_amd64 -O /usr/local/bin/yq && chmod +x /usr/local/bin/yq
  

• MacOS:

  brew install yq
  

• Windows:

  choco install yq
  

更多安装方式请参考yq官方文档。安装完成后，运行yq --version命令验证安装是否成功。

案例一：JSON数据筛选与提取

假设我们有一个包含销售数据的JSON文件sales.json，内容如下：

{
  "sales": [
    {"date": "2023-01-01", "product": "A", "amount": 100},
    {"date": "2023-01-02", "product": "B", "amount": 150},
    {"date": "2023-01-03", "product": "A", "amount": 200},
    {"date": "2023-01-04", "product": "C", "amount": 50},
    {"date": "2023-01-05", "product": "B", "amount": 180}
  ]
}

我们需要提取产品"A"的所有销售记录。使用yq，只需一行命令：

yq -p json -o json '.sales[] | select(.product == "A")' sales.json

这条命令的含义是：

• -p json: 指定输入格式为JSON
• -o json: 指定输出格式为JSON
• .sales[]: 遍历sales数组
• select(.product == "A"): 选择product为"A"的元素

执行结果将输出产品"A"的所有销售记录，为后续的图表生成做好准备。

案例二：JSON转CSV，为图表工具准备数据

大多数图表工具都支持CSV格式的数据。我们可以使用yq将JSON数据直接转换为CSV格式。以上面的sales.json为例，将其转换为CSV：

yq -p json -o csv '.sales[] | [.date, .product, .amount]' sales.json

这条命令会将每个销售记录转换为CSV格式的一行，包含日期、产品和金额三个字段。输出结果如下：

date,product,amount
2023-01-01,A,100
2023-01-02,B,150
2023-01-03,A,200
2023-01-04,C,50
2023-01-05,B,180

现在，你可以将这个CSV文件直接导入到Excel、Tableau或其他图表工具中生成可视化图表了。

案例三：数据聚合与计算

在数据可视化前，我们 often 需要对数据进行聚合计算。例如，计算每个产品的总销售额：

yq -p json -o json '.sales[] | group_by(.product)[] | {product: .[0].product, total: (map(.amount) | add)}' sales.json

这条命令使用了yq的group_by和add函数，对产品进行分组并计算总销售额。结果如下：

{
  "product": "A",
  "total": 300
}
{
  "product": "B",
  "total": 330
}
{
  "product": "C",
  "total": 50
}

有了这样的数据，我们就可以轻松生成产品销售额对比图了。

案例四：格式化图表数据

有时候，我们需要特定格式的数据来满足图表的要求。例如，生成适合柱状图的产品销售额数据：

yq -p json -o json '{"products": [.sales[].product | unique], "totals": [.sales[] | group_by(.product)[] | map(.amount) | add]}' sales.json

这个命令会生成一个包含产品列表和对应销售额的JSON对象，非常适合作为柱状图的数据源。

案例五：自动化数据处理流程

将上述步骤组合起来，我们可以创建一个简单的bash脚本，自动化从JSON到图表数据的处理流程：

#!/bin/bash
# 提取产品A的销售数据并转换为CSV
yq -p json -o csv '.sales[] | select(.product == "A") | [.date, .amount]' sales.json > product_a_sales.csv

echo "产品A的销售数据已保存到product_a_sales.csv"

通过这个脚本，我们可以一键完成数据提取和格式转换，为后续的可视化工作节省大量时间。

总结与展望

通过本文介绍的5个案例，我们看到了yq在JSON数据处理和图表数据准备方面的强大能力。从简单的数据筛选到复杂的聚合计算，yq都能轻松应对。它不仅支持JSON和CSV，还可以处理YAML、XML、TOML等多种格式，是数据可视化工作流中不可或缺的工具。

随着数据可视化需求的不断增长，yq也在持续发展。未来，我们可以期待yq加入更多专为数据可视化设计的功能，如直接生成图表描述文件等。掌握yq，让你的数据处理工作事半功倍，为你的图表增添更多洞察和价值。

现在就动手尝试吧！使用yq处理你的数据，创建令人惊艳的可视化图表。如果你有任何问题或发现了有趣的使用技巧，欢迎在评论区分享。别忘了点赞、收藏本文，关注我们获取更多数据处理和可视化的实用技巧！

下一期，我们将介绍如何使用yq结合Gnuplot创建自动化的数据可视化报告，敬请期待！

【免费下载链接】yq yq is a portable command-line YAML, JSON, XML, CSV, TOML and properties processor 项目地址: https://gitcode.com/GitHub_Trending/yq/yq