Databend Parser 快速入门

Apache Doris 入门教程35:多源数据目录 本文简要介绍Apache Doris中的多源数据目录概念 阅读详情

作者:谢其骏

北京航空航天大学在读硕士, Databend 研发工程师实习生

jun0315 (Xieqijun) · GitHub

基本介绍

Parser 模块主要负责将 SQL 字符串经过词法分析得到的 Token 列表转换为 AST(抽象语法树)的过程。

下面是函数定义:

/// Parse a SQL string into `Statement`s.
pub fn parse_sql<'a>(
    sql_tokens: &'a [Token<'a>],
    dialect: Dialect,
) -> Result<(Statement, Option<String>)> 

parse_sql 接受两个参数:sql_tokens 和 dialect,返回一个 Result,其中包含一个 Statement 和一个可选的输出格式String(如 CSV 格式等)。

sql_tokens 参数是一个对 SQL 语句进行词法分析之后得到的Token数组,令牌包含关键字、标识符、运算符等信息。

dialect 参数表示 SQL 方言,Rust 提供了几种常见的方言,比如 SQLite、MySQL 等。

parse_sql 函数的主要作用是将 SQL 的 Token 解析为 AST( Abstract Syntax Tree 抽象语法树)。AST 是一个用于表示程序语言语法结构的树形数据结构,它的节点代表程序语法的不同部分,通过这个数据结构可以更方便地对程序语言进行分析和处理。

Nom 库

Databend 的 Parser 模块主要使用了nom 库和 nom-rule 库。

nom是一个基于parser组合器的库,它允许开发者定义小型的 parser,然后将它们组合成更复杂的 parser。

nom-rule 是基于 nom 库的一个规则引擎库,可以用于语法分析、解析和转换。它提供了一种声明式的方式来定义语法规则,同时支持错误处理和自定义语法扩展。

2.1 parser

在 nom 中,parser是一个 trait,定义了一个通用的解析器接口,任何实现了该 trait 的解析器都可以用于解析。这个 trait 定义了一个名为parse的方法,该方法接受一个输入数据,进行解析,返回一个IResult类型的结果,I、O 和 E 分别表示剩余未解析的数据、解析结果和错误类型。

pub trait Parser<I, O, E> {
  /// A parser takes in input type, and returns a `Result` containing
  /// either the remaining input and the output value, or an error
  fn parse(&mut self, input: I) -> IResult<I, O, E>;
 }

接下来,我们将介绍一些 Databend 中用到的重要的 parser 组件。

2.2 map

map 组件是一个函数式编程工具,用于将解析器解析出的数据转换为其他类型或格式。map 组件接受两个参数:一个解析器和一个函数,用于将解析器的结果转换为另一种格式。

map 组件的函数参数是一个闭包,它接受解析器解析出的数据,并将其转换为其他类型或格式。通常,闭包的返回值将成为解析器的最终结果。下面是一个简单的示例:

use nom::{Err,error::ErrorKind, IResult,Parser};
use nom::character::complete::digit1;
use nom::combinator::map;

let mut parser = map(digit1, |s: &str| s.len());

// the parser will count how many characters were returned by digit1
assert_eq!(parser.parse("123456"), Ok(("", 6)));

// this will fail if digit1 fails
assert_eq!(parser.parse("abc"), Err(Err::Error(("abc", ErrorKind::Digit))));

在这个例子中,首先使用了 nom 中的digit1 parser 组件来解析连续的数字字符,然后使用map组件对解析结果进行转换,将数字字符串的长度作为解析结果返回。

2.3 alt

alt 是一个组合子,它用于在多个解析器之间进行选择。它接受两个或多个解析器作为参数,并依次尝试将输入数据解析为这些解析器中的一个,返回第一个成功解析的结果。下面是一个简单的示例:

use nom::character::complete::{alpha1, digit1};
use nom::branch::alt;
fn parser(input: &str) -> IResult<&str, &str> {
  alt((alpha1, digit1))(input)
};

// the first parser, alpha1, recognizes the input
assert_eq!(parser("abc"), Ok(("", "abc")));

// the first parser returns an error, so alt tries the second one
assert_eq!(parser("123456"), Ok(("", "123456")));

// both parsers failed, and with the default error type, alt will return the last error
assert_eq!(parser(" "), Err(Err::Error(error_position!(" ", ErrorKind::Digit))));

在这个例子中,我们使用alt组件将两个 parser 拼接在一起:alpha1和digit1。这两个 parser 都是 nom 中的字符解析器,alpha1解析一个或多个字母,digit1解析一个或多个数字。因此,alt尝试首先使用alpha1解析输入,如果解析成功,则返回其结果(即解析的字母字符串)。否则,alt将使用digit1解析输入,如果解析成功,则返回其结果(即解析的数字字符串)。如果两个 parser 都解析失败,则返回一个错误。

2.4 tuple

tuple 是一个组合子,用于将多个解析器按顺序组合起来,形成一个元组。

除了可以嵌套多个解析器之外,tuple 还支持使用 map 函数对解析结果进行转换。

use nom::sequence::tuple;
use nom::character::complete::{alpha1, digit1};
let mut parser = tuple((alpha1, digit1, alpha1));

assert_eq!(parser("abc123def"), Ok(("", ("abc", "123", "def"))));
assert_eq!(parser("123def"), Err(Err::Error(("123def", ErrorKind::Alpha))));

这段代码演示了如何使用tuple组合子将多个解析器按顺序组合起来。tuple会将多个解析器打包成一个元组返回,元组中包含了每个解析器的结果。

在上面的例子中,tuple包含了三个解析器:alpha1,digit1和另一个alpha1。它们按顺序解析输入字符串中的字符,并将结果打包成一个三元组。

2.5 rule!

#[macro_export]
macro_rules! rule {
    ($($tt:tt)*) => { nom_rule::rule!(
        $crate::match_text,
        $crate::match_token,
        $($tt)*)
    }
}

rule! 首先给定了 match_text(匹配文本)和 match_token(匹配 TokenKind )的方法,接着再调用nom_rule中的 rule 宏定义,这样可以方便的拼装成上文提到的tuple组合子。

举例如下

let mut rule = rule!(
    CREATE ~ TABLE ~ #ident ~ ^"(" ~ (#ident ~ #ident ~ ","?)* ~ ")" ~ ";" : "CREATE TABLE statement"
);

最终会被展开为

let mut rule = 
    nom::error::context(
        "CREATE TABLE statement",
        nom::sequence::tuple((
            (crate::match_token)(CREATE),
            (crate::match_token)(TABLE),
            ident,
            (nom::combinator::cut(crate::match_text)("(")),
            nom::multi::many0(nom::sequence::tuple((
                ident,
                ident,
                nom::combinator::opt((crate::match_text)(",")),
            ))),
            (crate::match_text)(")"),
            (crate::match_text)(";"),
        ))
    );

摘自GitHub - andylokandy/nom-rule: A procedural macro for defining nom combinators in simple DSL

源码分析

在了解了 parser 组件之后,我们继续探究实际的源码。

在parser_sql函数中,调用了statement(Input(sql_tokens, dialect, &backtrace))。

statement函数实际上解析 token 的地方:

map(
    rule! {
        #statement_body ~ (FORMAT ~ #ident)? ~ ";"? ~ &EOI
    },
    |(stmt, opt_format, _, _)| StatementMsg {
        stmt,
        format: opt_format.map(|(_, format)| format.name),
    },
)(i)

通过调用 rule 宏定义,解析statement_body,而statement也是用 alt 组件拼成的多个 parser 。

let statement_body = alt((
    rule!(
        #map(query, |query| Statement::Query(Box::new(query)))
        | #explain : "`EXPLAIN [PIPELINE | GRAPH] <statement>`"
        | #explain_analyze : "`EXPLAIN ANALYZE <statement>`"
        | #delete : "`DELETE FROM <table> [WHERE ...]`"
        | #update : "`UPDATE <table> SET <column> = <expr> [, <column> = <expr> , ... ] [WHERE ...]`"
        | #show_settings : "`SHOW SETTINGS [<show_limit>]`"
        | #show_stages : "`SHOW STAGES`"
        | #show_engines : "`SHOW ENGINES`"
        | #show_process_list : "`SHOW PROCESSLIST`"
        | #show_metrics : "`SHOW METRICS`"
        | #show_functions : "`SHOW FUNCTIONS [<show_limit>]`"
        | #kill_stmt : "`KILL (QUERY | CONNECTION) <object_id>`"
        | #set_role: "`SET [DEFAULT] ROLE <role>`"
        | #show_databases : "`SHOW [FULL] DATABASES [(FROM | IN) <catalog>] [<show_limit>]`"
        | #undrop_database : "`UNDROP DATABASE <database>`"
        | #show_create_database : "`SHOW CREATE DATABASE <database>`"
        | #create_database : "`CREATE DATABASE [IF NOT EXIST] <database> [ENGINE = <engine>]`"
        | #drop_database : "`DROP DATABASE [IF EXISTS] <database>`"
        | #alter_database : "`ALTER DATABASE [IF EXISTS] <action>`"
        | #use_database : "`USE <database>`"
    ),
    ......
    // catalog
    rule!(
     #show_catalogs : "`SHOW CATALOGS [<show_limit>]`"
    | #show_create_catalog : "`SHOW CREATE CATALOG <catalog>`"
    | #create_catalog: "`CREATE CATALOG [IF NOT EXISTS] <catalog> TYPE=<catalog_type> CONNECTION=<catalog_options>`"
    | #drop_catalog: "`DROP CATALOG [IF EXISTS] <catalog>`"
    ),
));

每一个 parser,如第六行的delete都是 map 组件,会转换成Statement。delete会最终转换成Statement::Delete。

let delete = map(
    rule! {
        DELETE ~ FROM ~ #table_reference_only
        ~ ( WHERE ~ ^#expr )?
    },
    |(_, _, table_reference, opt_selection)| Statement::Delete {
        table_reference,
        selection: opt_selection.map(|(_, selection)| selection),
    },
);

最终通过拼装出来的 parser 来转换成Statement。至此,整个 Parser 解析的过程就完成了。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud:https://databend.cn

📖 Databend 文档:Databend - The Future of Cloud Data Analytics. | Databend

💻 Wechat:Databend

✨ GitHub:GitHub - datafuselabs/databend: A modern cloud data warehouse focusing on reducing cost and complexity for your massive-scale analytics needs. Open source alternative to Snowflake. Also available in the cloud: https://app.databend.com

Databend 的安装配置和使用 了解新型数据库,介绍 Databend 的安装配置和使用。 阅读详情

相关推荐

LD14激光雷达与STM32F103C8T6(标准库)获取雷达360度数据(1)

LD14激光雷达与STM32F103C8T6(标准库)获取雷达360度数据(1)

qq_54206194的博客 3900

DORIS常用命令汇总

记录在做大数据开发时使用的doris命令,持续更新....

zhshch1991的博客 2860

Vivado安装教程:多版本共存的配置技巧

详解Vivado安装教程中的多版本共存配置技巧,帮助用户在同一系统中管理不同版本的Vivado开发环境,提升开发效率与兼容性,适用于需要切换版本的FPGA开发者。

weixin_35257663的博客 1783

微信小程序富文本展示控件【Parser】(可解析图片、视频)

项目场景:在PC端通过文本编辑器编辑的内容,可能会含有图片、视频以及文本编辑器的文本样式,需要在小程序做展示。

深渊那支花的博客 1249

(一)利用Python实现数据集读取,Python基本文件操作介绍

机器学习是计算机对大量数据的分析过程,在机器学习的实际项目中,通常都需要准备数据集,数据集通常包含的数据数量是庞大的。例如,在处理计算机视觉领域的项目时,每一张图片都是一个单独的文件,为了提高模型训练的效果,图片数量通常会比较多,因此需要合理且高效的操作将所有的图片数据读取。本篇旨在介绍如何用Python对海量文件进行遍历,也是机器学习实践的第一步。.........

ZZR2631574030的博客 6357

双击文件夹弹窗“找不到应用程序”,但是右键点击打开可以

此电脑、回收站、c、d、f盘、控制面板、任意文件夹等都没有办法双击打开。 右键中包含“使用filemanager打开”,是由于FileManager卸载残留导致的。 懒人专用附件 下载解压上面附件,双击导入可以清理FileManager软件残留 参考: 双击此电脑出现找不到应用程序,但是右键点击可以-其他-优快云问答https://ask.youkuaiyun.com/questions/7631439 电脑上的文件夹双击都提示找不到应用程序,但是右击打开就能打开,该怎么解决? - 知乎 (z

webmasterqpwou的博客 1万+

parser插件介绍

当收到'data'事件时,它会把接收到的数据拼接起来,然后在'end'事件触发时,使用querystring模块的parse方法将拼接好的数据解析成键值对,存储在 req.body 中。在Node.js中,当客户端向服务器发送请求时,服务器需要处理请求的数据。总之,body-parser是Node.js开发中非常常用的一个工具,特别是在处理表单数据和JSON数据时,它可以极大地简化开发者的工作。parser是一个Node.js中的中间件,主要用于解析HTTP请求的正文,特别是POST请求的正文。

2301_76901566的博客 543

Python爬虫实战:中国土地市场网招拍挂数据抓取与分析

本文详细介绍了如何使用Python爬虫技术从中国土地市场网抓取土地招拍挂数据,并进行初步的数据分析与可视化。文章涵盖了爬虫的基本原理、反爬虫策略应对、数据清洗与存储、数据分析与可视化等多个方面,为土地市场研究者提供了一套完整的数据获取与分析解决方案。

2201_76125261的博客 691

【连载】研究EasyUI系统—Parser组件

Parser是EasyUI框架中用于解析渲染诸如TextBox、LinkButton、Datagrid等等各类组件的基本模块,也是EasyUI框架运行的必要条件。

来啊,相互伤害啊 1076

爬虫面试:关于爬虫破解验证码的13个经典面试题

​解释:验证码是一种用于区分人类用户和自动化程序(如爬虫)的技术,通常通过显示图形、文字或音频等方式,要求用户完成特定任务(如识别扭曲的字母、点击特定区域等)。​作用:防止恶意爬虫滥用网站资源、进行批量注册、登录破解等行为,保护网站的安全性和数据的完整性。

数据知道的博客 1万+

在Windows 10/11上使用Qt和SOEM构建EtherCAT主站:工业控制新纪元

☑️ Windows平台上的EtherCAT主站☑️ 微秒级精度的实时控制☑️ 动态设备配置与管理☑️ 直观的Qt监控界面☑️ 分布式时钟同步“技术不是取代人类的工具,而是拓展人类能力的翅膀。当我们在Windows上实现微秒级精度的工业控制时,不是在征服机器,而是在创造人与机器和谐共舞的新舞台。集成AI异常检测算法支持EtherCAT G协议云端监控与远程诊断完整项目代码预编译SOEM库示例视频教程。

QQ_778132974的博客 635

生产环境必备:ConfigArgParse 配置验证与错误处理最佳实践

在现代应用开发中,配置管理是确保系统稳定性和安全性的关键环节。**ConfigArgParse** 作为 argparse 的增强替代品,提供了对配置文件和环境变量的原生支持,成为 Python 项目中处理配置的理想选择。本文将深入探讨 ConfigArgParse 在生产环境中的配置验证与错误处理最佳实践,帮助开发者构建更健壮的配置系统。 ## 为什么选择 ConfigArgParse 进行配

gitblog_00647的博客 1127

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Databend 集群部署 | 新手篇(2)

,其中 databend-query 是计算节点,无状态模式,这种架构也有直接用于生产的。实际上生产环境推荐至少部署三个 databend-meta 组成集群,其中 databend-query 可以是一个节点,而且可做到不使用就关闭。如果你使用的是公有云上对象存储,就不用担心对象存储的高可用。下面我们描述一下 Databend 的集群环境搭建。在 Databend 集群中分为两个角色:databend-meta 集群和 databend-query 集群。

Databend的博客 823

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

rust nom 一个文本解析器的使用

rust nom 一个文本解析器的使用简述版本早期版本新的改变常用的几个切片、组合器编写一个简单Sql解析器 简述 nom, 是 Rust 的解析器库,它的运行消耗低,而且速度很快,针对一些文本的解析非常的方便,是一个新手值得学习的库。 nom与正则表达式最大的不同在于,正则是通过表达式在内部将文本解析完成后返回给使用者,对于使用者完全不知道它的中间运行过程,更无法介入其运行过程中,所以在一些非常...

suozhaoyu0530的博客 3287

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Databend使用入门

云数仓Databend使用的一些重要的笔记

hys__handsome的博客 1085

Databend 性能调优-基础篇

在软件基础设施领域,人们开始越来越重视代码的性能优化,在满足其可实现功能完整的同时,若可逐步去优化代码,则能在相同硬件条件下达到更好的工作效率,进一步提高业务生产效率。尤其是大数据领域,比如 OLAP 数据库通常服务于海量数据即席查询分析的场景,一些看似不起眼的底层调优却能在数据量级上进行优化叠加,从而达到优化系统整体分析查询的性能目的,可谓星星之火可以燎原。 在这里主要向大家做一个 Databend 性能调优相关的分享,共会分为三次向大家介绍,如下所示: 1、基础篇:代码调优的前置知识 2、实践篇1:Da

Databend的博客 396

Parser解析器

parser解析器

佳佳的博客 1394

用 JSX 建立组件 Parser(解析器)

此文转载自:https://tridiamond.blog.youkuaiyun.com/article/details/112352745 这里我们一起从 0 开始搭建一个组件系统。首先通过上一篇《前端组件化基础知识》中知道,一个组件可以通过 Markup 和 JavaScript 访问的一个环境。 所以我们的第一步就是建立一个可以使用 markup 的环境。这里我们会学习使用两种建立...

Python研究所 749

用 JSX 建立组件 Parser(解析器)- 前端组件化

这里我们一起从 0 开始搭建一个组件系统。首先通过上一篇《前端组件化基础知识》中知道,一个组件可以通过 Markup 和 JavaScript 访问的一个环境。

三钻 - 之前端到全栈之路 1万+

小程序好用富文本解析组件Parser

https://github.com/jin-yufeng/Parser

qq_43383334的博客 1633

rust: Fan-out/Fan-in Pattern

本项目基于Rust实现珠宝行业全流程的扇出/扇入模式,采用DDD六层架构。通过ProcessRequestDto与ProcessResponseDto传输数据,将采购、设计、生产等12个业务阶段抽象为可并行执行的FanoutTask子任务。核心由JewelryFanoutFanin实现并行调度:先扇出至12个线程并发执行,再统一扇入汇总结果。系统集成日志(文件+控制台)、重试熔断、内存仓储及依赖注入容器,支持顺序与并发两种调度方式,确保高并发下任务可靠执行与可观测性。

Geovin Du Dream Park 166

组网第63课:安全域划分——Trust/Untrust/DMZ、区域模型、与 VLAN 的关系

一组接口 + 一组策略 + 一条默认拒绝。一组接口:这个域包含哪些物理口、VLAN、子接口;一组策略:这个域到别的域放行什么、拒绝什么;一条默认拒绝:没写进策略的,一律不通。第三条最关键。没有默认拒绝,前面划的域全是装饰。

qq_36765170的博客 574

Rust组织管理(AI回答)

你想做的事JS / Python 做法Rust 做法把一个文件纳入工程新建文件即可新建 xxx.rs 后,必须在入口写mod xxx;挂载对外暴露函数/结构体export(Python 默认全公开)默认全私有,必须显式加pub引入别处的函数use crate::模块名::函数名;找路径的基准词./ 或 ../(从 src 根出发)、(上一级 ../)、(当前级 ./)日常写项目:不要用 #[path],直接遵守默认规则——

yaoct的博客 154

自建 RustDesk 服务端后,做一个“装完就能连“的客户端

如果有云服务的话,可以基于 RustDesk 的 hbbs / hbbr 自己部署一套,不过会碰到一个问题:每台电脑装完客户端,都得手动去设置里填三样东西——ID 服务器、中继服务器、Key。填错一个就连不上,还得远程指导同事操作。这篇记录两种解决办法,以及云端编译的完整流程。内容基于 RustDesk 1.5.3 的源码。

风声的专栏 654

Rust LeetCode443 算法题解

LeetCode 443 字符串压缩:原地行程编码,用 start 标记组起点、next 扫描组边界、i 原地写出;长度 1 不写计数使编码不膨胀,写指针不越过读指针。时间 O(n),额外空间 O(1)。

weixin_43379230的博客 198
上一篇: Databend 开源周报第 90 期
下一篇: Databend 开源周报第 91 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值