深入浅出数据库 parser

Flask请求数据处理四层机制:args/form/json/files全解析 HTTP请求数据在Flask中并非统一入口,而是依据Content-Type协议类型严格分流——URL参数走request.args,表单编码走request.form,JSON载荷走request.json,文件上传走request.files。这种设计源于Werkzeug对HTTP协议的分层解析原理,确保安全边界与解析性能。其技术价值在于避免越权风险(如request.values合并导致参数污染)、降低CPU开销(惰性加载优于动态合并),并支撑前后端分离场景下的多协议兼容(Vue可自由选择applic 阅读详情

概述

数据库内核博大精深,但执行 SQL 的流程大同小异。数据库内核可以拆分为,

  • 接收 client 发送过来的网络包
  • 处理网络包,将 SQL 解析成抽象语法树
  • 将语法树转换和优化成查询计划
  • 通过查询计划生成执行计划,并执行返回结果

为什么说是博大精深呢?因为每个部分都有拿出来讨论和研究的价值,各个厂家的数据库实现方式和细节也是花样百出。本文将主要讨论 SQL 是如果被解析成抽象语法树的。简单来说,就是如何将 SQL 字符串如果解析成相应数据库语言的结构体。

词法分析

将 SQL 解析成语法树,首先需要进行词法分析。词法分析的过程简而言之是将 SQL 字符串拆解成若干个 token。例如, select a from t 我们可以将其拆解成 select,a,from,t 这几个 token。而这些 token 可以作为语法分析的输入。

DFA

MatrixOne 的 Lexer (词法分析器) 是手动编写的,相比于通过工具,比如 Lex ,生成 Lexer,更加灵活,方便 MatrixOne parser 兼容 MySQL 语法。对于手动编写 Lexer,可以从有穷自动机说起。

有穷自动机(Finite Automata, FA)由两位神经物理学家 MeCuloch 和 Pitts 在 1948年首先提出,是对一类处理系统建立的数学模型。简单的定义是:给定输入串 x,如果存在一个对应于 x 的从初始状态到某个终止状态的转换序列,则称 x 被改FA 接收。

首先,要识别一个 token,可以通过正则匹配,例如整数的正则定义:

 digit : 0|1|2|...|9
 integer : digit digit*

实现正则匹配,可以通过 FA ,举个例子,比如我们要识别正则文法 r = (a | b) * abb,状态转换图如下:
在这里插入图片描述

如此,当状态到达终止状态 3 时,识别成功。仔细观察可以发现一个问题,在 0 状态时,接收 a ,可以从 0到 0 或者从 0 到 1,这种不确定性无法编程。称之为非确定的有穷状态机(NFA)。

给出一个结论,对任何 NFA,存在定义同一语言的确定的有穷自动机(DFA)。可以通过子集构造法将 NFA 转换成 DFA。

对于上述的例子,将 NFA 转换成 DFA 后的状态图如下:
在这里插入图片描述
从上图可以看出无论在哪一个状态接收 a 或 b,到达的下一个状态时确定的。

这样,通过对不同类型的 token 作出状态图,再将其整合,一个简单识别 token DFA 如下:
在这里插入图片描述
对于 MySQL 的不同 token,比如 数字, 字符串,标识符,数学符号,注释等等,可以参照其定义,写出相应的 DFA,最终形成 Lexer。感兴趣的同学可以看看 MatrixOne 的 Lexer,实现在 scanner.go 中,在mysql_lexer.go 中将其封装了起来。

语法分析

词法分析后 tokens 将作为语法分析的输入。SQL 的语法解析的实现常见有两种方式:

  • 一种是采用 LL 文法,自顶向下的分析。手动编写的 parser 一般会采取这种方式,比如 clickhouse 的 parser,sqlparser-rs
  • 另一种是采用 LR 文法,自底向上分析。一些工具 bison、goyacc 可以通过预先定义好的 BNF 文件生成语法解析器。

这两种方式有各自的优缺点,理论上性能相差不大。手动编写的语法分析易于调试,代码直观显而易见,但也因其手动编写,开发时间会较长。MatrixOne 的语法分析器使用 goyacc 生成的,目前主要兼容 MySQL 语法。可以通过 MySQL 给出的相关文档,定义出 BNF 文件(.y 文件),生成解析器。当然生成的解析器代码难以阅读调试。

工作过程

goyacc 生成的语法分析器,接受 LALR(1) (lookahead-LR)文法。与 LL 文法不同,接受 LALR(1) 文法的分析器,其语法分析是从分析树的底部向顶部方向构造分析树,对于 LARL(1)

  • L:对输入进行从左到右的扫描
  • R:反向构造出一个最右推导序列
  • 1 则是需要向前查看 1 个 token

自底向上的语法分析采用最左规约的方式,通用框架是移入-规约分析(Shift-Reduce Parsing)。

移入-规约分析器可采取的 4 种动作:

  • 移入:将下一个 token 移到栈的顶端
  • 归约:如果栈中的符号串是某个产生式的左端,则归约成右端,被归约的符号串的右端必然处于栈顶。语法分析器在栈中确定这个串的左端,并决定用哪个非终结符来替换这个串
  • 接收:成功完成语法分析过程
  • 错误:发现一个语法错误

移入-规约分析的工作过程:

  • 语法分析器将 0 个或多个输入 token 移入栈的顶端,直到可以对栈顶的一个文法符号串 β 进行归约为止。
  • 然后,β 归约为某个产生式的左部
  • 语法分析器不断地重复这个循环,直到检测到一个语法错误,或者栈中包含了开始符号且输入缓冲区为空(语法分析成功)为止。

举个例子,分析如下表达式 E 语法时:

id + (id + id)

可以定义出如下产生式,其中表达式 E 是非终结符,id, +, -, (, ) 是终结符:

E : E + E
E : E * E
E : (E)
E : id

通过移入-规约分析,可以得出表达式语法正确:
在这里插入图片描述

冲突

如果某些输入字符串可以按两种或以上的方式来构造,那么可以说这组文法存在二义性。还是看上文所说到的一个例子,对于产生式

E : E + E

是表达算数表达式的一种自然的方式。但这种递归定义的方式并没有完全规定所有复杂输入的情况,比如,输入是:

a + b + c

如果是左结合,则被构造为:

(a + b) + c

如果是右结合,则被构造为:

a + (b + c)

语法分析器遇到这种情况是能检测到歧义的,当语法分析器读到 b 时,栈中可见的输入是:

a + b

匹配上述文法规则的右端,进行归约操作。在应用则个规则后,栈中输入被规约成 E,语法分析器接着可以读取后续部分:

+ c

并再次归约,产生左结合。但语法分析器可以选择 lookahead 1,直到读完:

a + b + c

然后对 b + c 进行归约,变成

a + E

最后再次归约,产生右结合。实际上,语法分析器在遇到 b 时,可以选择移进或者归约,无法选择时,产生移进/归约冲突。而右结合时,语法分析器选择两个归约动作,产生归约/归约冲突。

实际上,我们可以在 BNF 文件中补充规则。算术表达式中,常用优先级,左或右结合来补充规则,以此来消除掉一些歧义,比如,可以定义:

%left '+' '-'
%left '*' '/'

将加减乘除都定义成左结合,其次在 BNF 文件中,越晚(靠下)定义的 token,优先级越高。显然,乘除的优先级高于加减。

MatrixOne Parser

MO Parser 的词法分析是手动编写的,主要的作用就是分词,为语法分析器提供 token。数据库语法分析其实就是生成语法树的过程,也是整个 SQL 解析的重点。在 mysql_sql.y 中定义了 MatrixOne 的语法规则,规则文件的结构如下:

%{
// 在这里可以引入包名,在解析的过程中就可以调用到相应的函数
}%

%struct {
	id int // token id
	str string // token 字符串
	item interface{} // 将 token 转化为实际的类型,比如 1 会转化成 int64 类型
}

%union {
// 在这里定义 mo 设计好的语法树结构,比如
	selectStatement tree.SelectStatement
}

// 这里定义一系列的终结符,即 token。goyacc 会生成对应的 token id,比如
%token<str> SELECT

// 接着定义一系列非终结符。可以用 %union 中的字段来定义,goyacc 会做相应的映射,比如
%type <selectStatement> simple_select_clause

%%
// 在这编写 BNF,为了兼容 MySQL 语法,语法规则会参考 MySQL,当然,也会有 MatrixOne 自己的一些语法
// 比如 simple_select_clause 的一部分定义

simple_select_clause:
    SELECT distinct_opt select_expression_list from_opt where_expression_opt group_by_opt having_opt
    {
        $$ = &tree.SelectClause{
            Distinct: $2,
            Exprs: $3,
            From: $4,
            Where: $5,
            GroupBy: $6,
            Having: $7,
        }
    }
%%

在 select.go 中可以看到简单的 select 的部分定义 SelectClause

type SelectClause struct {
	SelectStatement
	Distinct bool
	Exprs    SelectExprs
	From     *From
	Where    *Where
	GroupBy  GroupBy
	Having   *Where
	Option   string
}

当成功解析完 SQL,MO 定义的结构体里的字段都会被相应赋值。比如,解析 SQL

select a, b from t1 where a > 3 and b = 4;

会生成如下语法树:
在这里插入图片描述
接着,就可以将语法树转化和优化成逻辑计划。

熟悉了MO 的语法树后,欢迎大家为 MO Parser 兼容更多的 MySQL 语法。修改了 mysql_sql.y 后,进入到 parsers 目录下执行 make,就会生成新的语法分析器,该文件是 mysql_sql.go。

最后,一个简单的例子,使用 MO Parser 进行 SQL 解析:

package main

import (
	"fmt"

	"github.com/matrixorigin/matrixone/pkg/sql/parsers"
	"github.com/matrixorigin/matrixone/pkg/sql/parsers/dialect"
	"github.com/matrixorigin/matrixone/pkg/sql/parsers/tree"
)

func main() {
	sql := `select u.a, (select t.a from sa.t, u) from u, (select t.a, u.a from sa.t, u where t.a = u.a) as t where (u.a, u.b, u.c) in (select t.a, u.a, t.b * u.b as tubb from t)`
	// 也可以调用 parsers.Parse(dialect.MySQL, sqls), 进行多条 sql 解析
	ast, err := parsers.ParseOne(dialect.MYSQL, sql)
	if err != nil {
		fmt.Println(err)
	}
	fmt.Println(tree.String(ast, dialect.MYSQL))
}

可以注意到,Parse 需要传入 dialect.MySQL 参数,这是因为 MO Parser 在开始设计时,就有支持多方言的想法,目前实现了多方言的框架。

矩阵起源全面拥抱开源生态,以开源开放的方式探索数字化道路。矩阵起源有多个行业的数字化转型最佳实践。欢迎扫码加入 MatrixOne 社群参与讨论:
MO社群:添加 MO 小助手微信 → ID:MatrixOrigin001,加入 MatrixOne 社群
官网:matrixorigin.cn
源码:github.com/matrixorigin/matrixone
Slack:matrixoneworkspace.slack.com
知乎 | SegmentFault | 墨天轮 | OSCHINA | InfoQ:MatrixOrigin

3D高斯泼溅自动生成系统:从2D图像到实时3D场景的完整实战指南 3D重建与渲染是计算机视觉和图形学的核心领域,旨在从2D图像或稀疏数据中恢复并呈现三维场景。其原理通常涉及多视图几何、场景表示和可微分渲染等技术。这项技术的价值在于能够创建可用于AR/VR、数字孪生、游戏和影视制作的高保真3D内容。应用场景广泛,从文化遗产数字化到电子商务产品展示。本文聚焦于利用**3D Gaussian Splatting(3DGS)**这一突破性技术,它通过数百万个可学习的3D高斯椭球体表示场景,并结合高效的**泼溅(Splatting)**栅格化技术,实现了高质量的实时渲染。我们将手把 阅读详情

相关推荐

从水表抄表到智能烟感:实战解析NB-IoT模组AT拨号联网的12个避坑点

本文深入解析NB-IoT模组AT拨号联网在智能水表、燃气表和烟感设备中的12个关键避坑点,涵盖模组选型、SIM卡配置、信号优化、网络认证等实战经验。通过具体案例和数据分析,帮助开发者提升设备联网成功率至99.3%,特别适合物联网领域工程师参考。

weixin_33721344的博客 516

python 使用sql_metadata模块parser解析sql出现问题:解析得到的信息有缺漏

目录sql_metadata模块问题1. 问题2. 解决最终解决方案 sql_metadata模块问题 1. 问题 我在使用sql_metadata.parse里的函数sqlparser.Parser解析sql语句,然后出现了问题。在我仔细分析后,确定是sqlparser.Parser解析后得到tables_aliases信息里缺少了某个别名-表名对应的参数。 然而我在MAC电脑上同样的代码却没有出现该问题,然后我在MAC电脑上调试,发现解析出tables_aliases信息是正确的,比在windows里多

aruewds的博客 3019

【SQL】血缘解析 SQL parser 工具介绍

1.概述 2. git 大数据解析:https://github.com/0xqq/bigdata-sql-parser

九师兄 2429

Parser的深度剖析

Python Parser可以说是Python解释器的核心部分,它决定了Python编程语言的优美和方便。这篇文章深度剖析了Python解释器的核心部分,也许你现在可以更好的理解和使用Python了。你好,世界!") # 使用了中文字符# 计算1+2+...+nif n == 0:return 0else:num = 10。

weixin_44868898的博客 1716

sqlparser-rs:用于Rust的可扩展SQL Lexer和解析器

sqlparser-rs:用于Rust的可扩展SQL Lexer和解析器

PLSQL 14.0.6 下载使用教程

众所周知,PLSQL 只是一个oracle第三方开发测试工具,它依赖oracle 客户端搭配使用,但是oracle 客户端有2G,相当庞大,不建议安装。所以我们如果下载安装好PLSQL,再下载好轻量级的支持远程链接的oracle客户端,这样搭配使用可以的话就最好了,答案是可以的。 第一步: PLSQL 下载与安装 PLSQL 14.0.6 下载地址 : https://www.allroundautomations.com/registered-plsqldev/ 下载下来,除了安装路径更改一下,

qq976511508的博客 2137

Python的HTMLParser模块:HTML解析的得力工具

HTMLParser模块是Python标准库中的一部分,提供了一个基于事件的HTML解析器。它继承自Python的SGMLParser类,用于将HTML文档解析成一系列事件,并在解析过程中调用相应的处理方法。print(f"开始标签:class MyHTMLParser(HTMLParser) : def handle_starttag(self , tag , attrs) : print(f"开始标签: {tag } , 属性: {

m0_62153576的博客 3822

量化平台深度测评:聚宽 / 米筐 / 迅投 QMT 对比分析

本文对比测评国内主流量化交易平台聚宽、米筐和迅投QMT,从回测性能、实盘稳定性和高级功能三方面展开分析。测试显示:聚宽在低频策略回测中效率最高(128秒),米筐次之;迅投QMT凭借C++直连架构实现最低延迟(150ms)和最高订单撤销成功率(98.5%)。平台特色方面,QMT的智能拆单算法可减少25%滑点损失,聚宽的因子库支持版本控制和缓存复用。建议低频策略选聚宽,高频交易选QMT,团队协作优先考虑聚宽。测试数据均来自合规实盘环境,建议根据策略特性进行试用验证。

tianchi2009123的博客 7397

探索数据之美:轻触SQL Parser开源之旅

探索数据之美:轻触SQL Parser开源之旅 在浩瀚的数据海洋中,SQL作为数据查询语言的明珠,是连接程序员与数据库之间的桥梁。今天,我们为您带来一款精心打造的开源小工具——SQL Parser。这不仅是一个简单的玩具项目,更是每一位数据库探索者手中的新宠。让我们一起揭开它的神秘面纱。 项目介绍 SQL Parser,顾名思义,是一款专为解析简单SQL SELECT语句设计的开源解析器。它藏身...

gitblog_00159的博客 597

LMI线性矩阵不等式之非线性变量处理

​ 如果一个LMI线性矩阵不等式中的某项存在两个矩阵变量相乘,那么称该类情形为非线性矩阵不等式,而要直接求解时很困难的,而且LMI工具箱也无法求解非线性矩阵,所以需要通过变量替换法进行处理。 ​...

Mr.邹的博客 4552

nRF5340双核实战:从Zephyr环境搭建到蓝牙协议栈部署

本文详细介绍了nRF5340双核处理器的开发实践,包括Zephyr环境搭建、蓝牙协议栈部署及双核协同工作配置。通过实战案例展示了如何利用nRF5340的双核异构架构提升蓝牙应用性能,并提供了调试技巧与资源优化建议,帮助开发者高效实现低功耗蓝牙设备开发。

weixin_42525385的博客 385

SparkSQL – 深入浅出了解Catalyst

本文作者范欣欣,男,就职于网易杭州研究院后台技术中心数据库技术组,专注于HBase的开发运维,热衷于MySQL等相关数据库技术。本文转载自:http://hbasefly.com/2017/03/01/sparksql-catalyst/(点击下面 阅读原文 即可进入) 最近想来,大数据相关技术与传统型数据库技术很多都是相互融合、互相借鉴的。传统型数据库强势在于其久经考验的SQL优化器

Hadoop技术博文 772

DS18B20温度传感器项目实战:从驱动编写到LCD显示,打造你的第一个温控系统

本文详细介绍了如何使用DS18B20温度传感器和LCD1602显示屏构建一个完整的温控系统。从硬件连接、OneWire协议实现到温度数据采集与LCD显示,全面解析了系统整合与工程化实现的关键步骤,帮助开发者快速掌握嵌入式温度监测系统的开发技巧。

weixin_42525328的博客 350

【Python】已解决:已解决:TypeError: Argument ‘parser’ has incorrect type (expected lxml.etree._BaseParser, go

如果传递了错误类型的参数,比如一个普通的Python类型(如int, str等),而不是期望的BaseParser对象,就会引发这个TypeError。为了解决这个问题,我们需要确保传递给etree.parse的是正确类型的parser对象,或者根本不传递parser参数,因为etree.parse通常可以自动处理XML解析。在上面的代码中,我们尝试将一个字符串作为parser参数传递给etree.parse函数,这显然是不正确的,因为该函数期望的是一个_BaseParser类型的对象。

屿小夏.的知识博客 1071

基于STM32与SimpleFOC实现直流无刷电机开环控制的实战指南

本文提供了一份基于STM32微控制器与SimpleFOC开源库实现直流无刷电机开环控制的详细实战指南。内容涵盖硬件连接、PlatformIO环境搭建、核心代码解析及上电测试,旨在帮助开发者快速验证硬件并理解开环控制的基本原理,为后续实现高性能的闭环FOC控制奠定基础。

xxx12的博客 964

核心组件大换血:Backbone与Neck魔改篇:YOLO26替换EfficientNetV2主干:神经架构搜索(NAS)的最优解嫁接

YOLO26引入EfficientNetV2作为Backbone的改进方案探索了计算机视觉模型优化的前沿方向。文章首先分析了YOLO26默认C3k2模块的局限性,指出其在通道利用效率和缩放策略上的不足。随后重点介绍了EfficientNetV2的核心优势,包括Fused-MBConv模块、训练感知的NAS搜索空间和渐进式学习策略,这些特性使其在精度和效率上保持领先。最后提出了将EfficientNetV2嫁接至YOLO26的具体方案,强调通道对齐这一关键挑战,并给出两种解决方案。这一改进思路展现了&quot

ZDQ58818的博客 311

数据库中间件 Sharding-JDBC 源码分析 —— SQL 解析(一)之语法解析

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33943347的博客 119

利用自己的域名和cloudflare实现邮件转发(无限邮箱注册cursor使用账号) 保姆级图文

大家喜欢的话,给个👍,点个关注!给大家分享更多计算机专业学生的求学之路!发现你走远了@mzh原创作品,转载必须标注原文链接欢迎关注『发现你走远了』 专栏,持续更新中欢迎关注『发现你走远了』 专栏,持续更新中『未完待续』

MZH 415

Java-16 深入浅出MyBatis 架构设计与源码剖析:从初始化到 SQL 执行全流程

本篇以 **MyBatis 3.5.19**(2026-01-02 发布,3.5 系列的最新修订版,也是 Java 8 分支的最后几个版本之一)为基线,系统拆解 MyBatis 持久层框架的架构设计与核心源码。整体架构分为三层:**接口层**(提供基于 Statement ID 与基于 Mapper 接口两种调用方式,封装增删改查 API)、**数据处理层**(参数映射 → SQL 解析 → SQL 执行 → 结果集映射的线性流水线,由 ParameterHandler、SqlSource、Executor

谢谢你的喜欢 我们一起无限进步 3480

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

python枚举类的意义_通往Python大师之路——通俗易懂,深入浅出

以下粗体的是必须认真掌握的知识要点第一天——基础轻松愉快开始学习如何使用Pycharm IDE在Windows上安装Python创建您的第一个Python程序Hello World如何在Python中打印变量:声明,连接变量,全局和局部第二天——元组、字典、列表认真吃透这部分,要学的仔细元组-打包,拆包,比较,切片,删除如何使用Python的字典第三天——数组、运算符、语句这部分也要认真学透数组:...

weixin_35363895的博客 101

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

GBase 8a MPP Cluster数据库之SQL执行全流程解析

南大通用GBase 8a MPP Cluster(gbase database)作为国内领先的分析型分布式数据库,已经在金融、电信、政务等关键行业的核心分析系统中广泛部署。GCluster 将分解后的子任务分发到各个 GNode,每个 GNode 只在自己的数据分片上独立执行计算——这就是MPP 的核心思想:把大任务拆成小任务,让所有节点一起干活。4、生成分布式执行计划:确定 JOIN 顺序、数据分布策略、并行度、操作节点等。各个 GNode 返回计算结果,GCluster 对其进行合并、排序等处理。

weixin_47390342的博客 241

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

小白程序员进阶大模型:LangChain实战教程,收藏版!

大模型(Large Model,也称基础模型,即 Foundation Model),是指具有大量参数和复杂结构的机器学习模型,能够处理海量数据、完成各种复杂的任务,如自然语言处理、计算机视觉、语音识别等。大语言模型(Large Language Model)通常是具有大规模参数和计算能力的自然语言处理模型,例如 OpenAI的GPT-5 模型。这些模型通过大量的数据和参数进行训练,以生成人类类似的文本或回答自然语言的问题。大语言模型在自然语言处理、文本生成和智能对话等领域有广泛应用。

python12345_的博客 817

开源语法分析器--ANTLR

  序言有的时候,我还真是怀疑过上本科时候学的那些原理课到底是不是在浪费时间。比如学完操作系统原理之后我们并不能自己动手实现一个操作系统;学完数据库原理我们也不能弄出个像样的DBMS出来;同样,学完编译原理之后我们好像就只能看着一大堆符号,表和下推自动机发呆,然后带着极其虔诚的心向从事编译器实现工作前辈致敬,先前些许对某些编译器小Bug不满的心情从此不翼而飞。早在数年前我做一个有关DB

薛笛的专栏 3万+

零基础学AI大模型之RunnableLambda

本文介绍了LangChain中的RunnableLambda组件,它能够将普通Python函数转换为符合LangChain协议的Runnable对象,使其无缝接入LCEL链式调用。文章通过类定义解析了RunnableLambda的工作原理,指出其核心功能是包装任意函数并实现Runnable接口方法。该组件解决了自定义逻辑(如数据处理、日志记录等)无法直接嵌入LangChain链的问题,只需简单封装即可让普通函数获得链式调用的能力。文中还提供了基础使用示例,展示了如何用RunnableLambda将自定义函数

chandfy的博客 1384

还在为Linux文件搜索慢而烦恼?FSearch给你即时响应的搜索体验

你是否曾在Linux系统中焦急地等待文件搜索结果?当你需要在海量文件中找到一个重要文档时,传统的搜索工具让你等待数分钟甚至更久。这种体验就像在图书馆里没有索引卡,只能一本本翻阅书架。FSearch正是为解决这个问题而生——一款基于GTK3的快速文件搜索工具,让你告别漫长的等待,享受即时搜索的畅快。 ## 挑战:Linux文件搜索的痛点与瓶颈 在日常工作中,我们经常遇到这样的场景:你需要找到一个

gitblog_00945的博客 466

详探 Apache ShardingSphere SQL Parse Format 功能

详探 Apache ShardingSphere SQL Parse Format 功能

SphereEX的博客 611
上一篇: 干货分享 | MatrixOne系统架构
下一篇: MatrixOne混沌测试之道
MatrixOrigin
博客等级 码龄5年 708粉丝 230原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值