Databend JSON 复杂数据类型的设计与使用 | Databend 特性系列

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例_databend功能 Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。主要特点:云原生设计:Databend 构建在 Kubernetes 之上,具备弹性伸缩、水平扩展的能力,可轻松部署在公有云或私有云环境中。SQL 支持:Databend 具备完善的 SQL 查询功能,兼容 MySQL 协议,使得用户可以利用熟悉的 SQL 语法进行数据查询和处理。性能优化。 阅读详情

引言

JSON 是一种常用的半结构化数据,通过自描述的 Schema 结构,可以表示任何类型的数据,包括多层嵌套的数据类型,例如 Array、Object 等。与必须严格遵循表结构字段的结构化数据相比,具有灵活性高,易于动态扩展的优点。近年来,随着各平台数据量的迅速增加,JSON 等半结构化数据的使用越来越流行,例如,平台通过开放接口对外提供 JSON 格式的数据,以 JSON 格式存储公开的数据集,采用 JSON 格式存储应用日志等。对这些数据进行分析可以获得很多非常有价值的信息。因此,Databend 在支持结构化数据处理的同时,也提供了对 JSON 数据的支持。本文将详细介绍 JSON 数据的设计和使用。

JSON 数据类型

Databend 使用 VARIANT 类型来存储半结构化数据,通常也可以使用 JSON 作为别名。例如,可以使用如下的 SQL 创建包含 JSON 数据的表:

CREATE TABLE test (
  id Int32,
  v1 VARIANT,
  v2 JSON
);

JSON 类型的数据需要通过调用 parse_json 或 try_parse_json 函数生成,函数输入的字符串为标准的 JSON 格式,包括 Null、Boolean、Number、String、Array、Object 6 种类型的数据。如果字符串不合法导致解析失败,parse_json 会返回解析错误,而 try_parse_json 会返回 Null 值。

例如:

INSERT INTO test VALUES
  (1, parse_json('{"a":{"b":1,"c":[1,2]}}'), parse_json('[["a","b"],{"k":"a"}]')),
  (2, parse_json('{"a":{"b":2,"c":[3,4]}}'), parse_json('[["c","d"],{"k":"b"}]'));

SELECT * FROM test;
+----+-------------------------+-----------------------+
| id | v1                      | v2                    |
+----+-------------------------+-----------------------+
| 1  | {"a":{"b":1,"c":[1,2]}} | [["a","b"],{"k":"a"}] |
| 2  | {"a":{"b":2,"c":[3,4]}} | [["c","d"],{"k":"b"}] |
+----+-------------------------+-----------------------+

JSON 通常用来存储 Array 或 Object 类型的数据,由于存在嵌套层级结构,需要通过 JSON PATH 对内部元素进行访问。有三种形式的语法作为分隔符:

  1. 冒号 : 用于按 key 获取 Object 中的元素
  1. 点号 . 用于按 key 获取 Object 中的元素,为了与表名和列名直接的分隔符区分,不能作为第一个分隔符
  1. 括号 [] 用于按 key 获取 Object 或按 index 获取 Array 中的元素

这三种类型的分隔符可以混合使用。例如:

SELECT v1:a.c, v1:a['b'], v1['a']:c, v2[0][1], v2[1].k FROM test;
+--------+-----------+-----------+----------+---------+
| v1:a.c | v1:a['b'] | v1['a']:c | v2[0][1] | v2[1].k |
+--------+-----------+-----------+----------+---------+
| [1,2]  | 1         | [1,2]     | "b"      | "a"     |
| [3,4]  | 2         | [3,4]     | "d"      | "b"     |
+--------+-----------+-----------+----------+---------+


通过 JSON PATH 提取的出的内部元素也是 JSON 类型的,这些数据可以通过 cast 函数或转化操作符  ::  转化为基本类型。

例如:

SELECT cast(v1:a.c[0], int64), v1:a.b::int32, v2[0][1]::string FROM test;
+--------------------------+---------------+------------------+
| cast(v1:a.c[0] as int64) | v1:a.b::int32 | v2[0][1]::string |
+--------------------------+---------------+------------------+
| 1                        | 1             | b                |
| 3                        | 2             | d                |
+--------------------------+---------------+------------------+

分析 Github 的 JSON 数据

很多公开的数据集是用 JSON 格式存储的,我们可以将这些数据导入到 Databend 进行分析,下面以 Github 的公开事件数据为例进行介绍。

GH Archive 提供了 Github 数据的下载,事件记录具有如下的 JSON 格式:

{
  "id":"23929425917",
  "type":"PushEvent",
  "actor":{
    "id":109853386,
    "login":"teeckyar-bot",
    "display_login":"teeckyar-bot",
    "gravatar_id":"",
    "url":"https://api.github.com/users/teeckyar-bot",
    "avatar_url":"https://avatars.githubusercontent.com/u/109853386?"
  },
  "repo":{
    "id":531248561,
    "name":"teeckyar/Times",
    "url":"https://api.github.com/repos/teeckyar/Times"
  },
  "payload":{
    "push_id":10982315959,
    "size":1,
    "distinct_size":1,
    "ref":"refs/heads/main",
    "head":"670e7ca4085e5faa75c8856ece0f362e56f55f09",
    "before":"0a2871cb7e61ce47a6790adaf09facb6e1ef56ba",
    "commits":[
      {
        "sha":"670e7ca4085e5faa75c8856ece0f362e56f55f09",
        "author":{
          "email":"support@teeckyar.ir",
          "name":"teeckyar-bot"
        },
        "message":"1662804002 Timehash!",
        "distinct":true,
        "url":"https://api.github.com/repos/teeckyar/Times/commits/670e7ca4085e5faa75c8856ece0f362e56f55f09"
      }
    ]
  },
  "public":true,
  "created_at":"2022-09-10T10:00:00Z",
  "org":{
    "id":106163581,
    "login":"teeckyar",
    "gravatar_id":"",
    "url":"https://api.github.com/orgs/teeckyar",
    "avatar_url":"https://avatars.githubusercontent.com/u/106163581?"
  }
}

其中,actor,repo,payload,org 字段具有嵌套结构,适合存储为 JSON,其它字段不是嵌套结构且类型固定,可以使用基本类型进行存储。创建如下的表结构:

CREATE TABLE `github_data` (
  `id` VARCHAR,
  `type` VARCHAR,
  `actor` JSON,
  `repo` JSON,
  `payload` JSON,
  `public` BOOLEAN,
  `created_at` TIMESTAMP(0),
  `org` JSON
);

使用 COPY 命令导入 2022-09-10-10 的 github 数据

COPY INTO github_data
FROM 'https://data.gharchive.org/2022-09-10-10.json.gz'
FILE_FORMAT = (
  compression = auto
  type = NDJSON
);

查询提交次数最多的 10 个项目

SELECT repo:name, count(id) FROM github_data 
  WHERE type = 'PushEvent'
  GROUP BY repo:name
  ORDER BY count(id) DESC
  LIMIT 10;
+----------------------------------------------------------+-----------+
| repo:name                                                | count(id) |
+----------------------------------------------------------+-----------+
| "Lombiq/Orchard"                                         | 1384      |
| "maique/microdotblog"                                    | 970       |
| "Vladikasik/statistic"                                   | 738       |
| "brokjad/got_config"                                     | 592       |
| "yanonono/booth-update"                                  | 537       |
| "networkoperator/demo-cluster-manifests"                 | 433       |
| "kn469/web-clipper-bed"                                  | 312       |
| "ufapg/jojo"                                             | 306       |
| "bj5nj7oh/bj5nj7oh"                                      | 291       |
| "appseed-projects2/500f32d3-8019-43ee-8f2a-a273163233fb" | 247       |
+----------------------------------------------------------+-----------+

统计 fork 次数最多的 10 个用户

SELECT actor:login, count(id) FROM github_data
  WHERE type='ForkEvent'
  GROUP BY actor:login
  ORDER BY count(id) DESC
  LIMIT 10;
+-----------------------------------+-----------+
| actor:login                       | count(id) |
+-----------------------------------+-----------+
| "actions-marketplace-validations" | 191       |
| "alveraboquet"                    | 59        |
| "ajunlonglive"                    | 50        |
| "Shutch420"                       | 13        |
| "JusticeNX"                       | 13        |
| "RyK-eR"                          | 12        |
| "DroneMad"                        | 10        |
| "UnqulifiedEngineer"              | 9         |
| "PeterZs"                         | 8         |
| "lgq2015"                         | 8         |
+-----------------------------------+-----------+

性能优化

目前的实现将 JSON 数据按纯文本格式进行保存,在每次读取数据时都需要进行解析并生成 serde_json::Value 的枚举值,不仅解析速度慢,而且占用较多的内存空间,导致其性能与其它基本类型的数据相差较大。为了提高 JSON 数据的读取性能,我们采用如下的方式进行优化:

  1. 数据存储为二进制格式的 JSONB。通过内置的 j_entry 结构存储各个元素的类型和偏移位置,可以加快解析速度,减少内存占用。

  2. 使用虚拟列加快查询速度。利用 JSON 数据通常有相似结构的特点,将用户经常查询并且数据类型相同的字段抽取出来存储为单独的虚拟列,在查询的时候直接从虚拟列进行读取,这样可以获得与其他数据类型相同的查询性能。

关于性能优化的详细设计,我们将会在后续的文章中进行介绍。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

 文章首发于公众号:Databend

 

Databend 的安装配置和使用 了解新型数据库,介绍 Databend 的安装配置和使用。 阅读详情

相关推荐

别再用UE5默认材质:用Substance Painter一招提升写实感

今天,我就把这套从模型准备到引擎最终呈现的全流程技巧毫无保留地分享出来,这套方法不仅能让你的作品细节炸裂,更能让你理解次世代PBR(Physically Based Rendering)材质的底层逻辑。

海外旅居设计师,15年设计经验。 1329

Databend 设计概述 | 白皮书

Databend 是一个开源的、完全面向云架构的新式数仓,它提供快速的弹性扩展能力,并结合云的弹性、简单性和低成本,使 Data Cloud 构建变得更加容易。 Databend 把数据存储在像 AWS S3 ,Azure Blob 这些云上的存储系统,可以使不同的计算节点挂载同一份数据,从而做到较高的弹性,实现对资源的精细化控制。 Databend 在设计上专注以下能力: 弹性 在 Databend 中,存储和计算资源可以按需、按量弹性扩展。 安全 Databend 中数据文件和网络传输都是端到端加密,

Databend的博客 1189

2025年春科研论文写作指导(如何写好科研论文)研究生网课期末考试

希望能帮助到大家

beijieweiyu的博客 5820

Databend:下一代云数据仓库解决方案

Databend是一个用Rust语言开发的开源云数据仓库,旨在为大规模数据分析提供高性能、低成本的解决方案。作为Snowflake的替代品,Databend专注于快速查询执行和数据摄取,适用于复杂的大规模数据集分析。云原生架构: 与AWS S3、Azure Blob、Google Cloud等云存储服务无缝集成高性能: 基于Rust构建,采用先进的向量化执行技术成本效益: 设计用于可扩展的存储和计算,在提高性能的同时降低成本AI驱动分析: 通过AI函数支持高级分析数据简化。

2401_87458778的博客 1770

Linux系统下Materials Studio 2020安装避坑指南:从依赖包到许可证配置全流程

本文提供了一份在Linux系统上安装Materials Studio 2020的深度避坑指南。详细解析了从系统依赖包检查、安装流程、许可证配置到Gateway服务部署的全过程,并分享了与Slurm作业调度系统集成的实战经验,旨在帮助用户高效、稳定地完成部署。

weixin_29313547的博客 387

常规波束形成——时域波束形成、频域波束形成

本文介绍了波束成形,包括时域波束成形和频域波束成形,并解释了在实现过程可能存在疑惑的相位补偿。

Candy_Editor的博客 3676

Databend 集群部署 | 新手篇(2)

,其中 databend-query 是计算节点,无状态模式,这种架构也有直接用于生产的。实际上生产环境推荐至少部署三个 databend-meta 组成集群,其中 databend-query 可以是一个节点,而且可做到不使用就关闭。如果你使用的是公有云上对象存储,就不用担心对象存储的高可用。下面我们描述一下 Databend 的集群环境搭建。在 Databend 集群中分为两个角色:databend-meta 集群和 databend-query 集群。

Databend的博客 823

【从零开始学Skynet】实战篇《球球大作战》(一):功能设计

为了能把之前在基础篇中学习到的Skynet的各种知识结合起来,所以在实战篇中,我们准备开发一个完整的游戏案例《球球大作战》,介绍分布式游戏服务端的实现方法。

我是一条寻水的鱼 2986

【活动回顾】Databend 云数仓与 Databend Playground 扩展组件介绍

Databend 是一款使用 Rust 研发的新一代云原生数据仓库,完全面向云架构并基于对象存储构建。它具备即时扩缩容能力,能够在数分钟内增加数百倍的算力,为企业提供了一个基于对象存储、湖仓一体化、计算和存储分离的大数据管理和分析集中式平台。实现了一份数据,统一计算入口,供多用种业务使用,从而助力企业更准确地洞察业务、制定战略,很好的满足了客户私有化部署的不同需求。

Databend的博客 959

深度学习|卷积神经网络

介绍卷积神经网络基本理论,包括卷积层、池化层和全连接层,并阐述LeNet卷积神经网络的构建过程。

weixin_58243219的博客 5731

新手如何学习车载底层嵌入式软件开发(AutoSar)

汽车嵌入式开发

ACarSoft的博客 4224

Databend 开源周报第 117 期

CONNECTION为了更优雅地处理用户角色在计算集群实例和存储服务的访问控制模型之间的映射,Databend 计划提供定义和管理CONNECTION的能力。CONNECTION可以保存由外部存储服务生成的身份凭据和访问管理(IAM)实体,提供方便且一致的访问控制体验。此外,引入CONNECTION也可以简化在创建 STAGE 等过程中的复杂配置。...如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review。或者,你可以点击来挑选一个随机问题,祝好运!

Databend的博客 144

NVIDIA平台Xavier/TX2板摄像头驱动开发与TP2850方案开发

本文介绍了在NVIDIA平台上开发Xavier/TX2板摄像头驱动的过程,并结合TP2850方案实现了多路模拟相机输入。我们提供了初始化摄像头和连接TP2850方案的示例代码,并介绍了相关的步骤和注意事项。需要注意的是,以上示例代码仅提供了基本的摄像头初始化和与TP2850通信的框架,你需要根据具体的需求进行进一步开发和配置。你可能需要参考摄像头和TP2850的数据手册以及相关的开发文档,以了解更多详细的配置和操作。此外,你还需要一个支持TP2850方案的硬件设备,并将其连接到Xavier/TX2板上。

PixelLancer的博客 593

构建海量记忆:基于 Databend 的 2C Agent 平台 | 沉浸式翻译 @ Databend meetup 上海站回顾及思考

文章根据沉浸式翻译技专家陈琦在 Databend Meeup 上海站分享总结和思考构建。 通过本次活动也让我初步去理解 AI 长记忆体的实现及用途。 陈琦分享属于一个比较硬核的技术分享,所以在回顾这个 PPT 时,我在陈琦分享的思路的基础上长了一些案例,来帮助读者更容易理解这个实践。沉浸式翻译(Immersive Translate),作为 AI 翻译领域的头部产品,拥有近千万用户。在 Databend Meeup 上海站沉浸式翻译团队透露他们启起阶段是自我搭建一个HTAP库用于承接业务及数据分析,但面临运

Databend的博客 717

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Databend Roadmap in 2023

Databend 经历了 2022 年一整年的研发,Databend 的功能性和稳定性得到了显著增强,一些用户开始在生产中使用。Databend 帮助他们极大地了成本和操作的复杂性问题。下面是 Databend Roadmap in 2023 (讨论)。

Databend的博客 456

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

【Databend 】完整功能特性与 SQL 参考指南

Databend 简介 Databend 是一个开源、云原生且支持实时分析型的现代数据仓库,它以其高性能、弹性扩展和低成本而闻名,旨在提供高效的数据存储和处理能力。Databend 面向云架构的设计,使得它能够充分利用云计算的弹性和可扩展性。以下是 Databend 的一些详细特点和功能:云原生设计:Databend 构建在 Kubernetes 之上,这意味着它可以在容器化环境中无缝运行,支持自动化部署、扩展和管理。它的云原生特性使得 Databend 能够轻松适应不同规模的工作负载,从小型项目到大型企业

zy123456nn的博客 66

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Databend x HuggingFace,海量数据,随心分析

在这篇文章中,我们展示了如何使用 Databend 直接访问和查询 HuggingFace 数据集。并且展示了如何使用 SQL 对数据进行预处理,使其符合数据规范。此外,利用 CASE WHEN 语句,我们可以轻松表达简单的模型,在 SQL 中完成对 Iris 数据集的预测任务,并且进行精度统计。本文涉及的所有操作均可以在 Databend Cloud(海外版)上直接体验。如果你对使用 Databend 进行数据科学分析感兴趣,也欢迎使用 Databend Cloud 上就绪的计算集群进行一步探索。

Databend的博客 597

Databend Docker部署全攻略:10分钟本地体验企业级数据仓库功能

想要快速体验Databend这个开源云原生数据仓库的强大功能吗?通过Docker部署,你可以在10分钟内搭建一个完整的企业级数据仓库环境,无需复杂的安装配置过程。Databend作为新一代的Snowflake兼容仓库,支持SQL查询、实时数据分析、向量AI搜索等多种场景,让本地开发变得前所未有的简单高效。🚀 ## 📦 Docker快速部署步骤 ### 基础环境准备 确保你的系统已经安装了

gitblog_00484的博客 653

告别 Kafka,拥抱 Databend:构建高效低成本的用户行为分析体系

用户行为数据埋点指标是数据仓库中不可或缺的重要数据源之一,同时也是企业最宝贵的资产之一。通常情况下,用户行为数据分析包含两大数据源:用户行为分析日志和上游关系型数据库(如 MySQL)。基于这些数据,企业可以进行用户增长分析、用户行为研究,甚至通过用户行为分析精准排查用户问题。

Databend的博客 1618

Databend Cloud 入选中国信通院《云原生产品目录》

近日,在中国信通院召开的云原生产业大会上,正式发布了 2022 年度首批《云原生产品目录》,Databend Cloud 产品成功入选云原生产品目录中国信通院为解决云原生用户选型困境,全面拉齐行业认知,推动云原生产业蓬勃发展,而发起、征集和评选出来的,Databend 的技术能力获得了权威认可,成功入选目录。 本次发布的《云原生产品目录》共收录云原生技术服务产品及解决方案 251 个,涉及容器、微服务、服务网格、无服务器、中间件服务、云原生安全,以及云原生融合服务等类别。Databend Cloud 入围云

Databend的博客 379

从Kafka到Databend Cloud:万亿级Agent Trace数据实时接入架构实践

在可观测性与大数据处理领域,实时处理海量、高基数的链路追踪数据是核心挑战。传统基于流计算预聚合的架构,在面对万亿级数据规模时,常面临开发运维复杂、查询灵活性不足的瓶颈。现代数据栈倡导存算分离与弹性扩展,通过将实时数据流直接接入具备强大分析能力的云原生数据仓库,可以实现对全量明细数据的交互式查询,从而简化架构并释放数据价值。本文以可观测性场景下的海量Agent Trace数据为例,深入解析了利用Kafka作为统一数据总线,结合专为Databend设计的bend-ingest-kafka工具,构建高吞吐、低延迟

weixin_33158887的博客 345

Databend + lakeFS:将数据版本控制嵌入你的分析工作流

作者:尚卓燃(PsiACE)澳门科技大学在读硕士,Databend 研发工程师实习生云计算为以数据为中心的应用提供了廉价、弹性、共享的存储服务,这为现代数据处理工作流提供了显而易见的好处:海量数据、高并发访问、大吞吐量,越来越多的案例开始将旧有的技术栈向数据湖架构进行迁移。旧有的数据仓库/大数据分析技术可能并不是专为云和对象存储设计的,性能和兼容性可能不太理想,需要投入大量的资源进行维护,如何为数据湖提供真正现代的、低成本、高性能、高质量的分析服务?

Databend的博客 351

Apache SeaTunnel 2.3.12 深度解析:Zeta 引擎优化与 SQL Transform 新特性实战

本文深度解析Apache SeaTunnel 2.3.12版本的核心优化与新特性,重点介绍Zeta引擎的算子级监控改进和SQL Transform的向量函数、COALESCE类型转换等实战技巧。通过具体配置示例和性能测试数据,展示如何提升数据处理效率,并分享生产环境调优指南与故障排查经验。

weixin_42550052的博客 353

告别Kafka:构建低成本用户分析系统(翻译文章)

一家典型的互联网应用公司有一个用户行为分析场景,并选择 Databend Cloud 来构建他们的分析系统。采用 Databend Cloud 后,该公司放弃了 Kafka,直接在 Databend Cloud 中创建一个阶段,将用户行为日志存储在 S3 中。随着技术的进步,企业在设计用户行为追踪架构时有了新的选择。Databend Cloud 凭借其简单的架构和灵活性,为用户行为分析提供了高效且经济的解决方案。为了突破通用追踪系统的局限性,很多企业在业务扩展时,选择构建自己的用户行为分析系统。

qq_20245171的博客 126

Apache DolphinScheduler数据源配置终极指南:从架构设计到生产部署的5个最佳实践

Apache DolphinScheduler作为现代数据编排平台,其数据源配置是构建高效工作流调度系统的基石。在复杂的数据生态系统中,数据源的稳定连接与高效管理直接决定了整个调度系统的可靠性和性能。本文将深入解析DolphinScheduler的数据源架构设计、实战部署技巧和运维管理策略,为技术决策者和架构师提供完整的解决方案。 ## 🔍 概念解析:数据源在DolphinScheduler中

gitblog_00467的博客 895

数据库客户端:PRQL、rainfrog、WhoDB、GoNavi、Dory、FXDB

数据库客户端:PRQL、rainfrog、WhoDB、GoNavi、Dory、FXDB

lonelymanontheway的博客 597
上一篇: Databend 特性系列(1)|Databend 数据生命周期
下一篇: 多点《基于 Databend 的 TiDB 数据归档实践》 | Data Infra 分享第 4 期总结
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值