干货!5分钟菜鸟学会Python玩转SQL的神器!

FastAPI的admin后台 FastAPI操作数据库的文章,网上有很多。FastAPI因其原生支持异步,且支持Pydantic标准格式校验,广泛受到开发者的青睐。那么如何支持异步数据库?并继续支持Pydantic呢?那么FastAPI能不能像Django那样支持后台呢?可以快捷的对数据库表进行CRUD呢? 阅读详情

375b33779f655726f0a479bb9be88ee2.png

作者:言淦,一枚喜欢淦代码的码农,"言淦说"主理人

背景

其实一开始用的是pymysql,但是发现维护比较麻烦,还存在代码注入的风险,所以就干脆直接用ORM框架。

ORM即Object Relational Mapper,可以简单理解为数据库表和Python类之间的映射,通过操作Python类,可以间接操作数据库。

Python的ORM框架比较出名的是SQLAlchemy和Peewee,这里不做比较,只是单纯讲解个人对SQLAlchemy的一些使用,希望能给各位朋友带来帮助。

  • sqlalchemy版本: 1.3.15

  • pymysql版本: 0.9.3

  • mysql版本: 5.7

初始化工作

一般使用ORM框架,都会有一些初始化工作,比如数据库连接,定义基础映射等。

以MySQL为例,创建数据库连接只需要传入DSN字符串即可。其中echo表示是否输出对应的sql语句,对调试比较有帮助。

from sqlalchemy import create_engine

engine = create_engine('mysql+pymysql://$user:$password@$host:$port/$db?charset=utf8mb4', echo=True)

个人设计

对于我个人而言,引进ORM框架时,我的项目会参考MVC模式做以下设计。其中model存储的是一些数据库模型,即数据库表映射的Python类;model_op存储的是每个模型对应的操作,即增删查改;调用方(如main.py)执行数据库操作时,只需要调用model_op层,并不用关心model层,从而实现解耦。

├── main.py
├── model
│   ├── __init__.py
│   ├── base_model.py
│   ├── ddl.sql
│   └── py_orm_model.py
└── model_op
    ├── __init__.py
    └── py_orm_model_op.py

映射声明(Model介绍)

举个栗子,如果我们有这样一张测试表

create table py_orm (
    `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '唯一id',
    `name` varchar(255) NOT NULL DEFAULT '' COMMENT '名称',
    `attr` JSON NOT NULL COMMENT '属性',
    `ct` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
    `ut` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON update CURRENT_TIMESTAMP COMMENT '更新时间',
    PRIMARY KEY(`id`)
)ENGINE=InnoDB COMMENT '测试表';

在ORM框架中,映射的结果就是下文这个Python类

# py_orm_model.py
from .base_model import Base
from sqlalchemy import Column, Integer, String, TIMESTAMP, text, JSON


class PyOrmModel(Base):
    __tablename__ = 'py_orm'

    id = Column(Integer, autoincrement=True, primary_key=True, comment='唯一id')
    name = Column(String(255), nullable=False, default='', comment='名称')
    attr = Column(JSON, nullable=False, comment='属性')
    ct = Column(TIMESTAMP, nullable=False, server_default=text('CURRENT_TIMESTAMP'), comment='创建时间')
    ut = Column(TIMESTAMP, nullable=False, server_default=text('CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP'), comment='更新时间')

首先,我们可以看到PyOrmModel继承了Base类,该类是sqlalchemy提供的一个基类,会对我们声明的Python类做一些检查,我将其放在base_model中。

# base_model.py
# 一般base_model做的都是一些初始化的工作

from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base

Base = declarative_base()

engine = create_engine("mysql+pymysql://root:123456@127.0.0.1:33306/orm_test?charset=utf8mb4", echo=False)

其次,每个Python类都必须包含__tablename__属性,不然无法找到对应的表。

第三,关于数据表的创建有两种方式,第一种当然是手动在MySQL中创建,只要你的Python类定义没有问题,就可以正常操作;第二种是通过orm框架创建,比如下面

# main.py
# 注意这里的导入路径,Base创建表时会寻找继承它的子类,如果路径不对,则无法创建成功

from sqlachlemy_lab import Base, engine


if __name__ == '__main__':
    Base.metadata.create_all(engine)

创建效果:

...
2020-04-04 10:12:53,974 INFO sqlalchemy.engine.base.Engine 
CREATE TABLE py_orm (
    id INTEGER NOT NULL AUTO_INCREMENT, 
    name VARCHAR(255) NOT NULL DEFAULT '' COMMENT '名称', 
    attr JSON NOT NULL COMMENT '属性', 
    ct TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, 
    ut TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, 
    PRIMARY KEY (id)
)

第四,关于字段属性

  • 1.primary_key和autoincrement比较好理解,就是MySQL的主键和递增属性。

  • 2.如果是int类型,不需要指定长度,而如果是varchar类型,则必须指定。

  • 3.nullable对应的就是MySQL中的NULL 和 NOT NULL

  • 4.关于default和server_default: default代表的是ORM框架层面的默认值,即插入的时候如果该字段未赋值,则会使用我们定义的默认值;server_default代表的是数据库层面的默认值,即DDL语句中的default关键字。

Session介绍

在SQLAlchemy的文档中提到,数据库的增删查改是通过session来执行的。

>>> from sqlalchemy.orm import sessionmaker
>>> Session = sessionmaker(bind=engine)

>>> session = Session()

>>> orm = PyOrmModel(id=1, name='test', attr={})
>>> session.add(orm)

>>> session.commit()

>>> session.close()

如上,我们可以看到,对于每一次操作,我们都需要对session进行获取,提交和释放。这样未免过于冗余和麻烦,所以我们一般会进行一层封装。

1.采用上下文管理器的方式,处理session的异常回滚和关闭,这部分与所参考的文章是几乎一致的。

# base_model.py
from contextlib import contextmanager
from sqlalchemy.orm import sessionmaker, scoped_session

def _get_session():
    """获取session"""
    return scoped_session(sessionmaker(bind=engine, expire_on_commit=False))()


# 在这里对session进行统一管理,包括获取,提交,回滚和关闭
@contextmanager
def db_session(commit=True):
    session = _get_session()
    try:
        yield session
        if commit:
            session.commit()
    except Exception as e:
        session.rollback()
        raise e
    finally:
        if session:
            session.close()

2.在PyOrmModel中增加两个方法,用于model和dict之间的转换

class PyOrmModel(Base):
    ...

    @staticmethod
    def fields():
        return ['id', 'name', 'attr']

    @staticmethod
    def to_json(model):
        fields = PyOrmModel.fields()
        json_data = {}
        for field in fields:
            json_data[field] = model.__getattribute__(field)
        return json_data

    @staticmethod
    def from_json(data: dict):
        fields = PyOrmModel.fields()

        model = PyOrmModel()
        for field in fields:
            if field in data:
                model.__setattr__(field, data[field])
        return model

3.数据库操作的封装,与参考的文章不同,我是直接调用了session,从而使调用方不需要关注model层,减少耦合。

# py_orm_model_op.py
from sqlachlemy_lab.model import db_session
from sqlachlemy_lab.model import PyOrmModel


class PyOrmModelOp:
    def __init__(self):
        pass

    @staticmethod
    def save_data(data: dict):
        with db_session() as session:
            model = PyOrmModel.from_json(data)
            session.add(model)

    # 查询操作,不需要commit
    @staticmethod
    def query_data(pid: int):
        data_list = []
        with db_session(commit=False) as session:
            data = session.query(PyOrmModel).filter(PyOrmModel.id == pid)
            for d in data:
                data_list.append(PyOrmModel.to_json(d))

            return data_list

4.调用方

# main.py
from sqlachlemy_lab.model_op import PyOrmModelOp


if __name__ == '__main__':
    PyOrmModelOp.save_data({'id': 1, 'name': 'test', 'attr': {}})

完整代码请参见:

https://github.com/yangancode/python_lab/tree/master/sqlachlemy_lab

推荐阅读:
入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影
趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|

年度爆款文案

点阅读原文,看B站我的20个视频!

Python SQLModel 简介 name: strtable=True:表示该类对应数据库表。Field:定义字段约束(如SQLModel通过融合 SQLAlchemy 和 Pydantic,提供了现代化、类型安全的数据库操作体验。适合追求开发效率、类型检查及 FastAPI 集成的项目。对于复杂场景,可结合原生 SQLAlchemy 使用。 阅读详情

相关推荐

从零开始:用RFSOC XCZU47DR搭建软件无线电开发环境(2023最新版)

本文详细介绍了如何使用Xilinx RFSoC XCZU47DR搭建高性能软件无线电(SDR)开发环境,涵盖硬件选型、开发环境配置、射频子系统校准及实战应用开发。特别针对2023年最新技术需求,提供从基础配置到高级优化的完整指南,助力科研人员和工程师快速掌握RFSoC开发技术。

weixin_42525005的博客 512

【办公自动化】python自动化生成sql语句一

我的笔记本不能直连生产,需要读取excel中的数据,转为insert语句写入数据库。前4个字段需要以字符串格式写入。

abylee的博客 510

AD20丝印层导入图片logo保姆级教程(附黑白预览避坑技巧)

本文提供了一份详尽的AD20丝印层导入图片Logo的实战指南。核心在于将图片预处理为高质量的单色BMP位图,并独家分享了利用Windows画图工具进行“黑白预览”的关键技巧,以提前规避转换失真。教程涵盖了从脚本获取、图片处理、参数设置到生产规范的完整流程,帮助硬件工程师高效、准确地在PCB的Top Overlay层添加个性化标识。

weixin_29194255的博客 386

在python中使用MySQL(使用sql语句)及其他

在python中使用MySQL(使用sql语句)及其他

hello_shal的博客 5121

YOLOv12改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 StarNet,超级精简高效的轻量化模块

本文记录的是基于StarNet的YOLOv12轻量化改进方法研究。StarNet设计简洁,没有复杂的设计和精细调整的超参数,仅是一个 4 阶段的分层架构。并且其中能够在低维空间计算的同时考虑极高维的特征这一特性,进而提高模型精度。本文在替换骨干网络中配置了原论文中的starnet_s1starnet_s2starnet_s3和starnet_s4七种模型,以满足不同的需求。

Limiiiing的博客 1215

网工、运维利器:MobaXterm,一款全能的远程工具

你好,这里是网络技术联盟站,我是瑞哥。是一款由Mobatek开发的多功能远程计算机管理工具,集成了多种网络协议和工具,专为网络工程师和系统管理员设计。它提供了丰富的远程连接功能,包括SSH、RDP、VNC、X11转发等,支持文件传输和多标签界面,内置了文本编辑器和多种网络工具,是一款全能的远程管理软件。MobaXterm的开发起始于2008年,最初只是一个简单的X服务器,但随着用户需求的不断增加和软件的逐步完善,MobaXterm逐渐发展成了一款功能全面、界面友好的远程管理工具。

网络技术联盟站 5230

python3 根据sql导出excel文件 支持xls和xlsx

python3使用sql导出excel表格代码

w1054230914的博客 1427

2022年12月机器人技术等级考试试卷(三级实操) 试题解析

2022年12月机器人技术等级考试试卷(三级实操) 试题解析

http://www.cierobot.com 1523

python自动生成SQL语句自动化

除了使用现有的库和工具外,我们还可以根据项目需求自定义SQL语句生成器,以满足特定的数据操作需求。通过自定义生成器,我们可以灵活地控制生成的SQL语句结构和内容,以适应不同的场景和要求。

一键难忘的博客 7565

【七.三维视觉与视频分析】【1.点云处理:PointNet++/PointTransformer】

各位老铁,今天咱们要聊的可不是普通的二维图像处理,而是三维视觉领域最硬核的技术——点云处理。从最早的PointNet到如今的PointTransformer,这场技术进化堪比三维版的"像素革命"。今天咱们就深入解剖两大里程碑:PointNet++和PointTransformer,保证让你看完全文就能在点云领域横着走!想象一下,你抓了把沙子撒在空中,每粒沙子的位置都是三维坐标——这就是点云的典型形态。最后送大家一句话:点云处理就像在三维宇宙中寻找星辰的轨迹,既要望远镜的宏观视野,也要显微镜的细致入微。

商务合作|问题讨论|交流学习 请联系作者微信,加微信请务必注明来意,博客主页有联系方式 473

概念解析 | 雷达动态范围

这里存在一个动态范围的问题:强雷达发射信号和弱目标反射信号存在非常大的功率差异,比如传统的脉冲多普勒雷达动态范围可达90dB以上。随着上述技术的发展,预计未来十年雷达接收机动态范围将达到120dB以上,届时雷达的监视能力将得到极大增强。简单来说,雷达动态范围越大,表示接收机噪声越低,对强信号过载保护能力越强,就越能检测到弱信号目标。此外,部分新概念雷达对动态范围提出新的需求,如被动雷达动态范围需大于100dB。当前,随着阵列雷达和数字雷达技术的发展,对雷达接收机动态范围提出了更高要求。

NLOS的博客 1051

如何用Python快速生成SQL语句?

人生苦短,快学Python!大家好,今天分享一篇之前原创发在我另一个公众号的文章。作为一名搞数据的,写SQL是每天必不可少的工作。而我又是一个喜欢偷懒的人,就想着能不能使用Python快速生成SQL语句呢?假如现在想建一个临时表自己练习,我使用create table建表后,还需要使用多条INSERT INTO语句向表中插入数据,具体语法如下图所示。写入一行数据还好,但是如果N多行,手动就略微麻烦了。

伤心的辣条 2514

电磁场仿真软件:Sonnet_(3).Sonnet用户界面与操作

Sonnet支持用户通过二次开发自定义工具,例如:编写Python脚本,实现自定义功能。将脚本保存为工具插件。在Sonnet中加载并使用自定义工具。# 示例:自定义工具 import sonnet def custom_tool(design , object , parameter , value) : """自定义工具示例,设置对象的指定参数。

kkchenjj的博客 1523

菜鸟教程nginx视频_业界大佬给出的从菜鸟走向大牛的10条建议(附最新全套视频教程)...

1.先让程序跑起来  当我们刚开始写一个程序的时候,无论是一个自动化脚本,还是一个小游戏,还是一个爬虫,还是一个模块,对于新手来说最简单的方法就是先work:  用最直接的方法,让程序先能work.  比如直接用函数写,直接用假的变量,先把程序运行起来  运行正常的逻辑,让程序跑通2.初步重构代码  当你的代码已经初步run起来之后,接着我们要对代码进行简单的梳理和整形,会从下面几个地方修剪修剪:...

weixin_39632467的博客 135

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

python 判断字符串为空_从菜鸟Python程序员成长为大牛Python程序员的10条建议(附教程)...

  1.先让程序跑起来  当我们刚开始写一个程序的时候,无论是一个自动化脚本,还是一个小游戏,还是一个爬虫,还是一个模块,对于新手来说最简单的方法就是先work:  用最直接的方法,让程序先能work.  比如直接用函数写,直接用假的变量,先把程序运行起来  运行正常的逻辑,让程序跑通  2.初步重构代码  当你的代码已经初步run起来之后,接着我们要对代码进行简单的梳理和整形,会从下面几个地方修...

weixin_39679718的博客 297

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

轻松驾驭数据库,SQLModel 让操作更简单

SQLModel 是一个强大的库,它结合了 SQLAlchemy 和 Pydantic的优点,让我们能够以更简洁的方式操作数据库。通过本文的介绍,我们了解了 SQLModel的安装、基本使用方法、常见场景以及常见问题的解决方案。希望这篇文章能帮助你更好地使用 SQLModel,提升开发效率。

AIGC搞起 2770

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

SQLModel入门

SQLModel是一个现代化的 Python 库,旨在简化与数据库的交互。它结合了Pydantic和SQLAlchemy的优势,使得定义数据模型、进行数据验证和与数据库交互变得更加直观和高效。SQLModel 由(FastAPI 的创始人)开发,专为与 FastAPI 框架无缝集成而设计。使用SQLModel定义数据模型时,通常会继承自SQLModel并使用table=True参数指示这是一个数据库表。使用 SQLAlchemy 的强大查询功能,执行复杂的数据库操作。"))

xnuscd的博客 4014

探索 SQLModel:Python 中的 ORM 神器

探索 SQLModel:Python 中的 ORM 神器 【免费下载链接】sqlmodel SQL databases in Python, designed for simplicity, compatibility, and robustness. 项目地址:...

gitblog_00035的博客 1112

【Python】sqlmodel: Python 数据库管理ORM 的终极形态?

使用 超轻量级的ORM 框架 sqlmodel ,结合 mixins 封装给 FastAPI 这只虎添上翅膀,让接口功能开发更容易。

Detector_的博客 787

SQLModel 开发笔记:Python SQL 数据库操作的「简化神器」

SQLModel 是一款专为 Python 设计的 SQL 数据库操作库,由 FastAPI 作者开发,融合了 Pydantic 的类型校验和 SQLAlchemy 的 ORM 功能。核心优势包括:1)减少重复代码,同一模型可用于数据库操作和接口校验;2)强大的编辑器支持,提升开发效率;3)兼容 FastAPI、SQLAlchemy 和 AsyncIO;4)简洁易用的 API。文章通过一个「英雄管理」案例演示了模型定义、数据库连接及增删改查操作,并展示了如何与 FastAPI 无缝集成。适用于 Pyt

小小逐月者的心得笔记 1017

Python中使用SQLModel操作MySQL数据库的详细教程,附多个实战案例及其完整源码

【代码】Python中使用SQLModel操作MySQL数据库的详细教程,附多个实战案例及其完整源码。

未来已来,AI时代,学AI编程,做AI量化,就来大鹏AI教育。 2364

python flask-SQLAlchemy通过数据库表反向生成model模型

python flask-SQLAlchemy通过数据库表反向生成model模型 1.安装 pip install flask-sqlacodegen 模块 2.创建create_db.py文件 # !/usr/bin/python # -*- coding: utf-8 -*- """ pip install flask-sqlacodegen """ import os def create_models(): db_url = "mysql+pymysql://root:123456@l

huige6941的博客 2801

Python 与 SQL 这样超强结合,处理数据才是爆赞!

pandas中的DataFrame是一个二维表格,数据库中的表也是一个二维表格,因此在pandas中使用sql语句就显得水到渠成,pandasql使用SQLite作为其操作数据库,同时Python自带SQLite模块,不需要安装,便可直接使用。这里有一点需要注意的是:使用pandasql读取DataFrame中日期格式的列,默认会读取年月日、时分秒,因此我们要学会使用sqlite中的日期处理函数,方便我们转换日期格式。

xx16755498986的博客 1157

SQLModel笔记

m.venvpip list首次创建虚拟环境后,先使用更新pip版本。

沅筱的博客 1061

SQLModel 详解

name: strname: stremail: strraise ValueError('邮箱必须包含 @ 符号')return v# 自定义字段name: str# 自定义模型基类name: stremail: str。

oZiDingXiang的博客 637
上一篇: 学会配置Pycharm这一招,事半功倍!
下一篇: 翻身了?Python3.11性能快了近64%!!
菜鸟学Python
博客等级 码龄9年 8062粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值