DSQ - 数据查询工具使用教程

DSQ - 数据查询工具使用教程

dsq Commandline tool for running SQL queries against JSON, CSV, Excel, Parquet, and more. 项目地址: https://gitcode.com/gh_mirrors/ds/dsq

1. 项目介绍

DSQ（DataStation Query）是一个命令行工具，它可以让你使用SQL查询来操作JSON、CSV、Excel、Parquet等格式的数据文件。DSQ是DataStation的CLI companion，DataStation是一个具有图形界面的版本，用于执行对数据文件的各种SQL查询。

DSQ的核心功能是允许用户通过SQL语句直接查询和操作数据文件，而无需将数据导入到数据库中。它支持多种数据格式，使其成为一个多功能的工具，适用于数据分析师、数据工程师以及任何需要进行数据操作的开发者。

2. 项目快速启动

安装

DSQ提供了预编译的二进制文件，可以在macOS、Linux和Windows系统上运行。

• macOS Homebrew安装:

brew install dsq

• Linux和macOS的命令行安装:

VERSION="v0.23.0"
FILE="dsq-$(uname -s | awk '{ print tolower($0) }')-x64-$VERSION.zip"
curl -LO "https://github.com/multiprocessio/dsq/releases/download/$VERSION/$FILE"
unzip $FILE
sudo mv ./dsq /usr/local/bin/dsq

• Windows安装: 下载最新的Windows版本，解压，并将dsq添加到系统环境变量PATH中。

• 从源代码构建: 如果你希望从源代码安装或获取最新版本的DSQ，可以使用Go 1.18+:

go install github.com/multiprocessio/dsq@latest

使用

DSQ的基本使用方式是通过命令行传入数据文件和SQL查询。以下是一些示例：

• 查询JSON文件:

dsq testdata.json "SELECT * FROM {} WHERE x > 10"

• 查询CSV文件:

dsq testdata.csv "SELECT * FROM {} LIMIT 1"

• 查询Parquet文件:

dsq testdata.parquet "SELECT count(*) FROM {}"

• 查询Excel文件:

dsq testdata.xlsx "SELECT * FROM {\"Sheet1\"}"

3. 应用案例和最佳实践

数据转换

DSQ不仅支持查询，还可以将数据文件转换为JSON格式，而不需要执行查询操作。例如，将CSV转换为JSON：

dsq testdata.csv

数据关联

当你需要关联多个数据文件时，DSQ允许你通过索引或其他字段来合并不同的数据源。例如，关联CSV和JSON文件：

dsq testdata/join/users.csv testdata/join/ages.json "SELECT u.name, a.age FROM {0} u JOIN {1} a ON u.id = a.id"

复杂查询

对于更复杂的查询，可以将SQL语句存储在文件中，并通过DSQ的--file选项来执行：

dsq data1.csv data2.csv -f query.sql

4. 典型生态项目

• DuckDB: 一个基于SQLite的OLAP数据库，提供了类似DSQ的功能，但具有更强大的分析基础。
• ClickHouse: 一个用于大数据分析的列式数据库管理系统。
• GlareDB: 基于DataFusion的项目，提供了类似的功能，支持多种数据源和SQL查询。

这些项目都是开源数据工具生态的一部分，可以根据具体的需求选择使用。

dsq Commandline tool for running SQL queries against JSON, CSV, Excel, Parquet, and more. 项目地址: https://gitcode.com/gh_mirrors/ds/dsq