SQL查询是从Select开始的吗?

数据洞察:Python 与 SQL 的强力结合 本文介绍了 Python 和 SQL 在数据处理和分析中的应用,从环境准备到数据库连接、数据结构设计、基本的数据操作、数据分析、数据可视化,以及一个综合实例的演示。同时,探讨了性能优化和错误处理的重要性。最后展望了 Python 和 SQL 在数据分析领域的未来发展,包括更高效的数据处理工具、更强大的数据可视化工具、自动化和机器学习的整合、云数据库和大数据技术的应用,以及更强的社区支持与开源发展。 阅读详情

作者 | Julia Evans      

译者 | 王雪迎     责编 | 孙胜              

出品 | 优快云(ID:优快云news)

好吧,显然很多SQL查询都是从SELECT开始的(实际上本文只是关注SELECT查询,而不是INSERT或其它别的什么)。

但是!昨天我正在做窗口函数的解释说明,并且我发现自己在谷歌上搜索“你能根据窗口函数的结果进行过滤吗”。比如 — 你能在WHERE、HAVING或者其它地方过滤窗口函数的结果吗?

最后我得出的结论是:“窗口函数必须在WHERE和GROUP BY之后运行,所以你做不到”。但这让我想到了一个更大的问题 — SQL查询的实际运行顺序是什么?

这是我凭直觉就知道的事情(“我肯定知道!我已经编写了至少10000个SQL查询,其中一些非常复杂!),但我很难真正地准确说出顺序是什么。

1、SQL查询按此顺序进行

这就是我查找到的顺序!(SELECT并不是在第一步执行,而是到第五步才执行)

(这里是一篇推特: https://twitter.com/b0rk/status/1179449535938076673)

(我真的很想找到一种比“sql查询按此顺序发生/运行”更准确的表达方式,但我还没想出来。)

在非图形格式中,其顺序为:

l FROM/JOIN 和所有的 ON 条件
l WHERE
l GROUP BY
l HAVING
l SELECT(包括窗口函数)
l ORDER BY
l LIMIT

2、图解此图有助于你做出回答

此图是关于SQL查询的语义的 — 你可以通过它,对给定查询将返回什么结果进行推理,并回答如下问题:

  • 我能在一个GROUP BY的结果上执行WHERE么?(不行!WHERE发生在GROUP BY之前!)

  • 我可以根据窗口函数的结果进行过滤吗(不行!窗口函数发生在SELECT中,它发生在WHERE和GROUP BY之后)

  • 我可以基于GROUP BY中所做的来进行ORDER BY么?(可以!ORDER BY是最后执行的基本步骤,你可以根据任何东西做ORDER BY!)

  • LIMIT何时执行?(在最后!)

3、数据库引擎实际并不是按这个顺序运行查询

因为它实现了一系列优化以使查询运行得更快 — 我们稍后将在本文中讨论这一点。

所以:

  • 当你只想了解哪些查询是有效的,以及如何推理给定查询的结果时,可以使用此图。

  • 你不应该使用此图来解释查询性能或任何有关索引的事情,那是一个复杂得多的问题,涉及更多变量。

 

4、混淆因素:列别名

有人在Twitter上指出,许多SQL实现允许你使用以下语法:

SELECT CONCAT(first_name, ' ', last_name) AS full_name, count(*)
FROM table
GROUP BY full_name

此查询使其看起来像是在SELECT之后才发生GROUP BY,即使GROUP BY先执行,因为GROUP BY引用了SELECT中的别名。但是要使GROUP BY发挥作用,其实并不需要在SELECT之后才运行 — 数据库引擎只要将查询重写为:

SELECT CONCAT(first_name, ' ', last_name) AS full_name, count(*)
FROM table
GROUP BY CONCAT(first_name, ' ', last_name)

并且首先运行GROUP BY。

你的数据库引擎肯定还会在开始运行查询之前执行一系列检查,确保你在SELECT和GROUP BY中放置的内容合在一起是有意义的,因此在开始制定执行计划之前,它必须将查询作为一个整体来查看。

 

5、查询实际上不是按此顺序运行的(优化!)

实际上,数据库引擎并不是真的通过连接、然后过滤、然后再分组来运行查询,因为它们实现了一系列优化,只要重新排列执行顺序不改变查询结果,就可以重排以使查询运行得更快。

一个简单的例子说明了为什么需要以不同的顺序运行查询以使其快速运行,在这个查询中:

SELECT * FROM
owners LEFT JOIN cats ON owners.id = cats.owner
WHERE cats.name = 'mr darcy'

如果你只需要查找3个名为“mr darcy”的猫,那么执行整个左连接并匹配这两个表中的所有行是非常愚蠢的 —— 首先对名为“mr darcy”的猫进行一些筛选要快得多。在这种情况下,先进行过滤不会改变查询结果!

实际上,数据库引擎还实现了许多其它优化,这些优化可能会使它们以不同的顺序运行查询,但不能再说了,老实讲,这方面我不是专家。

6、LINQ以FROM开始查询

LINQ(一种C#和VB.NET中的查询语法)使用的顺序为FROM ... WHERE ... SELECT。下面是一个LINQ查询的示例:

var teenAgerStudent = from s in studentList
                      where s.Age > 12 && s.Age < 20
                      select s;

pandas(我所喜欢的数据治理工具:https://github.com/jvns/pandas-cookbook)也基本上是这样工作的,尽管你不需要使用这种精确的顺序 — 我经常会这样编写pandas代码:

df = thing1.join(thing2)      # like a JOIN
df = df[df.created_at > 1000] # like a WHERE
df = df.groupby('something', num_yes = ('yes', 'sum')) # like a GROUP BY
df = df[df.num_yes > 2]       # like a HAVING, filtering on the result of a GROUP BY
df = df[['num_yes', 'something1', 'something']] # pick the columns I want to display, like a SELECT
df.sort_values('sometthing', ascending=True)[:30] # ORDER BY and LIMIT
df[:30]

这并不是因为pandas对如何编写代码强加了任何特定规则。只是按照JOIN / WHERE / GROUP BY / HAVING的顺序编写代码通常好理解。(不过,我经常会先放一个WHERE来提高性能,而且我认为大多数数据库引擎实际也会先执行WHERE)

在R的dplyr中,你还能使用不同的语法来查询诸如Postgres、MySQL或SQLite等SQL数据库,它们的顺序也更符合逻辑。

不知道这一点令我自己着实惊讶

我写了这样一篇博文,因为当我发现这个顺序的时候非常惊讶,我以前从来没有看到过它被这样写下来 — 它基本上解释了我凭直觉所知道的,关于为什么一些查询被允许而另一些不被允许的一切。所以我想把它写下来,希望它能帮助其他人理解如何编写SQL查询。

原文:https://jvns.ca/blog/2019/10/03/sql-queries-don-t-start-with-select/

最后推荐一下我们的星球:由菜鸟学Python原班人马建了一个投资星球,汇聚一批喜欢投资的朋友一起分享投资的技巧,不限于基金,股票等其他品种,提高自己的财商,一起读书打卡,欢迎加入。



推荐阅读:入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|年度爆款文案1).卧槽!Pdf转Word用Python轻松搞定!2).学Python真香!我用100行代码做了个网站,帮人PS旅行图片,赚个鸡腿吃3).首播过亿,火爆全网,我分析了《乘风破浪的姐姐》,发现了这些秘密 4).80行代码!用Python做一个哆来A梦分身 5).你必须掌握的20个python代码,短小精悍,用处无穷 6).30个Python奇淫技巧集 7).我总结的80页《菜鸟学Python精选干货.pdf》,都是干货 8).再见Python!我要学Go了!2500字深度分析!9).发现一个舔狗福利!这个Python爬虫神器太爽了,自动下载妹子图片点阅读原文,领AI全套资料!
Python SQL 语法简单入门 Python SQL 语法简单入门 大家好,今天给大家分享一些python中基本的sql语法。基本是按照sqlite3 来写的。 引题 为什么要使用数据库? 持久化 ,内存中的变量当程序重启和电脑断电时丢失数据,而硬盘可以长时间、持久地存储数据。数据存储到硬盘上的过程叫持久化。 数据库更加专业强大 ;远比纯文本文档、excel表格强大,增删改查和统计函数。 建表操作 “CREATE TABLE... 阅读详情

相关推荐

国产射频直采收发器CX8242KA JESD204C调试

杭州诚芯公司的CX8242KA是国内开发的极少数支持JESD204C接口的高速AD、DA,Serdes具备支持接收和发送,并且速率可以到25Gbps,在国内属于领先水平。250M参考时钟输入,AD采样率2.5G,DA采样率10G,3收2发,主通道模式4,反馈通道模式1,基带采样率1250M,线速率20.625G,收发同时配置混频625M。CX8242KA的204C接口模式支持10种模式,在手册上都有说明。2、 支持TX信道编码,RX信道解码,提升健壮性。这里使用模式4,支持双通道模式,并且反馈开启。

RFSOC的博客 6228

python中的查询(select)

sql语句的执行顺序:from     where    group by      select     having    order by      limit一. 条件查询①普通条件查询select  XX  from  表名   where  查询的条件②模糊查询between and,in,or,范围查询,like ③空值查询is null二.排序语法:order by asc(升)或...

weixin_31449201的博客 1万+

工厂自动化布线实战:从功率计算到线槽布局的完整避坑指南

本文详细介绍了工厂自动化布线的实战经验,从功率计算到线槽布局的完整避坑指南。通过三步计算法确定线径需求,强调电压降控制的重要性,并分享线槽布局的50%法则和强弱电分离技巧。特别针对移动设备和多芯信号线提供专业解决方案,帮助工程师避免常见错误,提升布线效率和质量。

weixin_29266007的博客 356

python对select语句的封装

sql语句

qq_63401240的博客 570

构建多节点AI代理网络:OpenClaw协同框架与实战部署指南

在分布式系统与AI代理技术领域,多节点协同是提升智能体能力与扩展性的核心挑战。其原理在于通过设计清晰的通信协议与数据同步机制,使分散的智能体能够共享状态、知识与技能,从而实现1+1>2的群体智能。这一技术价值在于突破了单点AI的能力上限,为构建复杂、鲁棒且可扩展的自动化系统提供了基础。典型的应用场景包括跨设备任务编排、企业级工作流自动化以及大规模AI代理集群的管理。本文聚焦于OpenClaw这一开源AI代理框架,深入探讨如何利用模块化设计(如网状网络与任务控制中心)实现记忆共享与统一调度,解决多网关协同中的

weixin_42521032的博客 300

爆肝整理:微信公众号文章HTML编写完整规范,运营必备手册

微信公众号文章排版总是出错?📱 这份完整的HTML编写规范文档帮你彻底解决!文档包含所有支持的标签、CSS属性、实用代码模板和注意事项 📋,让你快速掌握微信文章的HTML编写技巧,告别第三方编辑器依赖 ✅

XiaoqiangClub的博客 2319

借助Python工具执行数据库SQL语句select

【代码】借助Python工具执行数据库SQL语句。

u014379204的博客 286

人工智能在软件测试中的广泛应用领域

人工智能在软件测试中的应用领域涵盖了自动化测试、缺陷预测和缺陷检测、智能化测试报告生成等方面。以上提供的示例代码只是其中的一小部分,实际上,人工智能在软件测试中还有许多其他的应用。通过结合人工智能和软件测试,可以提高测试效率和质量,减少测试工作的人力成本,并帮助开发人员更好地理解和改进软件产品。人工智能(Artificial Intelligence,简称AI)在软件测试领域的应用越来越广泛。下面将介绍几个人工智能在软件测试中的主要应用领域,并提供一些相关的源代码示例。

FycPerformance的博客 463

pymysql执行select查询操作

pymysql执行select查询操作

java1234的博客 1040

【OpenCV-Python】——图像处理基础&读写及显示图像&读写及播放视频&灰度图/彩色图/图像通道操作、运算

在Python中,OpenCV使用NumPy数组存储图像,Numpy是使用Python进行数组计算的软件包,提供强大的N维数组对象,支持复杂的广播功能(数组运算),集成了C/C++和Fortran代码工具,支持线性代数、傅里叶变换和随机数等特性,还可作为通用数据的高效多维容器,如在OpenCV中显示图像。Numpy的知识点见数据处理专栏,主要包括数据类型、创建数组、数组形状、索引切片和迭代、数组运算等。作为初学者,里面可能有总结不全,后续深入学习后会改善文章!下次学习图形用户界面!

weixin_51658186的博客 2084

Python 数据库操作SQL基础

SQL 主要分为以下几类操作: 数据定义语言(DDL,Data Definition Language):用于定义数据库结构的操作,如创建、修改、删除表结构等。常用语句包括`CREATE`、`ALTER`、`DROP`等。 数据操作语言(DML,Data Manipulation Language):用于操作数据库中的数据,如插入、更新、删除数据等。常用语句包括`INSERT`、`UPDATE`、`DELETE`等。

2301_80240808的博客 2309

【OpenClaw从入门到精通】第45篇:Skill供应链安全——如何识别并避开恶意技能插件?(2026实测版)

随着OpenClaw生态爆发式增长,全球Skills总量近75万个,日均新增2.1万个,但恶意/问题插件已超600个,数十万用户受影响。本文基于奇安信威胁报告及360安全实践,拆解恶意技能的五大核心特征,提出"安装前三步法"安全审查流程,详解安全技能来源白名单与定期审计方案,并深度解析360龙虾Skill安全超市的分级认证机制。读者可掌握从技能筛选、安装审查到术后审计的全流程安全防护手段,通过实操命令与案例演示,零成本构建Skill供应链安全防线,避免遭遇私钥窃取、资产损失等安全事件。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 565

10个Python开发者必备的SQL小技巧

大家好,在使用Python处理数据时,可能遇到过需要与数据库交互的情况,SQL(结构化查询语言)是管理和查询数据库的强大工具。本文将介绍10个为Python程序员量身定制的SQL技巧,为每个技巧提供代码片段和解释,帮助大家充分发挥SQL在Python项目中的潜力。

csdn1561168266的博客 479

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Python入门必备,每个人都应该知道的 10 个 SQL 命令

如果您使用数据,尤其是关系数据,那么(SQL) 就是您的通用语言。毫无疑问,SQL 是任何程序员学习的最有用的语言之一。它是我们用来与最常部署的数据库系统(包括 MySQL、PostgreSQL 和 Oracle)进行通信的语言。SQL 过去 50 年来一直是标准数据库查询语言,因为它既具有表达能力又易于使用。但是提前说明下,并非所有数据结构都支持简单查询。查询的复杂性随着数据集的标准化级别而增加。例如,对于低标准化 (1-2 NF) 数据集,可以使用简单的 SELECT 语句访问所有数据。

qq_39172059的博客 1353

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Python执行select的SQL后的结果

问题:cursor.excute(SQL)执行select语句后,用cursor.fetchall()获取执行的结果,那么获取的结果是什么呢 第一种:select查到了数据,但是这是一个list类型的,我们需要进行截取,我们需要的数据 第二种:什么结果都没查到,初学者的我不知道怎么判断,最终老开发告诉我,len(list)==0就可以了 PS:空元组就像空字符串一样,它本身...

weixin_30502965的博客 1451

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

python程序实现对数据库的select操作

import MySQLdb # 创建连接对象 conn=MySQLdb.connect(host='47.115.130.16',port=3306, database='hrs',charset='utf8', user='huchaolin',password='123Hcl456&', autocommit=False) try: with conn.cursor() as curs

qq_17495489的博客 1719

python where语句_解析sqlselect语句以获取python中的where子句条件

这是因为在关键字和比较中,树结构是不同的。例如,比较包括树中它下面的整个表达式。在如果使用parsed[0]._pprint_tree(),则可以看到嵌套在比较节点下的所有内容:|- 2 Comparison 'employ...'| |- 0 Identifier 'employ...'| | `- 0 Name 'employ...'| |- 1 Whitespace ' '| |-...

weixin_39889329的博客 1031

python操作mysql数据pymysql-执行语句select查询返回值直接返回dict字典类型或者list列表,替代默认的tuple元组类型

fetchall()将结果放在二维数组里面,每一行的结果在元组里面 import pymysql def export(table_name): conn =pymysql.connect(host = '118.24.3.40', user = 'jxz',password='123456', db='jxz',port=3306,charset = 'utf8') cur = co

HD243608836的博客 1万+

python中sql相关(查询、更新),以及sql参数化

import pymysql def beta_mysql(): connect = pymysql.Connect( host='1.1.1.1', port=3906, user='user', passwd='pwd', db='db', charset='utf8' ) return connect def select(sql): connect=beta_mysql(

xiangrikui1155的专栏 5342

Python操作MySql 实例——select查询数据(python2)

一、实例演示——select查询数据

资资的博客 1577
上一篇: 竟然是 300 万的诈骗案!
下一篇: Flask结合ECharts实现在线可视化效果,超级详细!
菜鸟学Python
博客等级 码龄9年 8095粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值