人生苦短,我用Python————元类实战,通过元类实现数据库ORM框架

python高级编程-基于元类的输入字段验证 背景介绍 在做web项目开发时,第一步就是对接收到的数据进行验证。最近在用tornado的过程中,发现数据验证代码需要反复写,为了不“重复造轮子”,参考了Django的代码,写了一个基于元类输入数据字段验证,分享一下。 基本思路 总体思路:数据验证需要用到3个类:form field validator 具体思路: 一次提交的所有参数可以看成一个form。不管是不是真实的表单,都看成是表单。... 阅读详情

Python元类实战,通过元类实现数据库ORM框架

 

今天是Python专题的第不知道多少篇文章,我们一起来用元类实现一个简易的ORM数据库框架。

本文主要是受到了廖雪峰老师Python3入门教程的启发,不过廖老师的博客有些精简,一些小白可能看起来比较吃力。我在他的基础上做了一些补充和注释,尽量写得浅显一些。

ORM框架是什么

如果是没有做过后端的小伙伴上来估计会有点蒙,这个ORM框架究竟是什么?ORM框架是后端工程师常用的一个框架,它的英文全称是Object Relational Mapping,即对象-关系映射框架。顾名思义就是把关系转化成对象的框架,关系这个词我们在哪里用的最多呢?

显然应该是数据库。之前我们在分布式的文章介绍关系型数据库和非关系型数据库的时候就着重介绍过关系的含义。我们常用的MySQL就是经典的关系型数据库,它存储的形式是表,但是表承载的数据其实是两个实体之间的"关系"。比如学生上课这个场景,学生和课程是两个主体(entity),我们要记录的是这两个主体之间的关系,也就是学生上课这件事。

而ORM框架做的事情是将这些关系映射成类,这样我们可以将这张表当中增删改查的功能抽象成类当中的方法。这样我们就可以通过调用类的方式来操作数据库了,从而达到高度抽象业务逻辑、降低用户使用难度的目的。

比如Java后端工程师常用的hibernate和ibatis都是用来做这件事情的,明确了框架的功能之后,我们先来设想一下最后的成果。假设我们现在开发出来了这么一套框架,那么它用起来的感觉应该是怎样的?

我们来看下廖老师博客里给的例子:

class User(Model):
    # 定义类的属性到列的映射:
    id = IntegerField('id')
    name = StringField('username')
    email = StringField('email')
    password = StringField('password')
复制代码

User类代表了数据库当中的一张表,它有4个字段:id, name, email和password,我们在定义字段的同时也通过类别指定了它们的类型。这个应该不难理解,上面的这个类等价于我们在数据库当中执行了这么一段建表的SQL:

create table if not exists user (
 id int,
    name string,
    email string,
    password string
)
复制代码

我们定义了表字段之后,接下来要做的就是根据字段创建数据了,其实也就是根据类创建实例。我们希望User类型的实例就对应User表当中的一条记录,并且我们可以通过调用实例当中的方法,来操作这张表进行增删改查。

# 创建一个实例:
u = User(id=12345, name='Michael', email='test@orm.org', password='my-pwd')
# 保存到数据库:
u.save()
复制代码

那么,我们怎样可以实现这样的功能呢?(免费领取Python自动化学习资料  工具,面试宝典面试技巧,加QQ群,785128166,群内还会大佬技术交流)

功能实现

我们先从简单的功能开始实现,首先是Field类,Field类表示数据库表当中一个字段的类型。这里的逻辑很容易理清楚,我们需要定义多种类型,比如IntegerField和StringField。我们可以对这些field类抽象出一个父类来:

class Field(object):
    def __init__(self, name, column_type):
        self.name = name
        self.column_type = column_type
        
    def __str__(self):
        return '<{}:{}>'.format(self.__class__.__name__, self.name)
复制代码

__str__方法当中打印出来的两个字段,分别是类别的名称和字段的名称,这段代码应该不难理解。

接着,我们实现它的两个子类,分别是IntegerField和StringField:

class StringField(Field):
    def __init__(self, name):
        super(StringField, self).__init__(name, 'varchar(100)')
        
        
class IntegerField(Field):
    def __init__(self, name):
        super(IntegerField, self).__init__(name, 'bigint')
复制代码

这里也不难理解,只是一个简单的继承应用而已。

接下来就到了最关键的部分,也就是Model类的实现。我们先来分析一下我们希望Model这个类拥有的功能,由于它是我们定义出来的每一张表的父类,所以它应该能够获取子类当中的字段,并且将它存放在一个容器当中。由于我们需要存储的是字段名和类型的映射,所以将它存储在dict当中比较合理。

另外一个功能是我们希望它能够提供增删改查的接口,能够根据子类当中定义的字段自动生成相应的SQL语句去调用数据库。这个也是ORM框架的意义所在。

第二个功能容易实现,只要第一个功能搞定了,做一下字符串处理即可。但是第一个功能有些麻烦,它也是元类的意义所在。因为父类当中的方法是无法获取子类中定义的类属性的,只能通过元类,在构建类的时候可以拿到属性的信息。

所以我们已经很明确了,我们实现元类的目的就是为了实现这个功能。理清楚了之后,再来写代码就不难了。我们先来实现这个元类:

class ModelMetaclass(type):

    def __new__(cls, name, bases, attrs):
        # 创建model类的时候不做任何处理
        if name=='Model':
            return type.__new__(cls, name, bases, attrs)
        # 打印表名的信息
        print('Found model: %s' % name)
        # mappings用来存储字段的信息
        mappings = dict()
        for k, v in attrs.items():
            # 判断v的类型,只有是Field的子类才会存储起来
            if isinstance(v, Field):
                print('Found mapping: %s ==> %s' % (k, v))
                mappings[k] = v
        # 将mappings当中的数据从类属性当中移除,防止关键字冲突
        for k in mappings.keys():
            attrs.pop(k)
        attrs['__mappings__'] = mappings # 保存属性和列的映射关系
        attrs['__table__'] = name # 假设表名和类名一致
        return type.__new__(cls, name, bases, attrs)
复制代码

如果你看过之前的文章,对元类已经很熟悉了,那么这段代码对你来说应该不难理解。元类搞定了,剩下的Model就更简单了。按照规范,我们需要实现增删改查四个函数,但是这里我们只是为了展示,所以就只实现其中一个作为例子,其他几个都可以如法炮制。(免费领取Python自动化学习资料  工具,面试宝典面试技巧,加QQ群,785128166,群内还会大佬技术交流)​​​​​​​

class Model(dict, metaclass=ModelMetaclass):
    def __init__(self, **kw):
        # 由于Model的基类是dict,所以创造Model的字段会被解析成dict的构造参数
        # 也就是说字段名和字段值的映射会存储在dict当中
        super(Model, self).__init__(**kw)
        
    def __getattr__(self, key):
        try:
            return self[key]
        except KeyError:
            raise AttributeError(r"'Model' object has no attribute '%s'" % key)

    def __setattr__(self, key, value):
        self[key] = value

    def save(self):
        fields = []
        params = []
        args = []
        for k, v in self.__mappings__.items():
            # fields存储字段名
            fields.append(v.name)
            # params填充问号
            params.append('?')
            # 获取字段的值
            args.append(getattr(self, k, None))
        sql = 'insert into %s (%s) values (%s)' % (self.__table__, ','.join(fields), ','.join(params))
        print('SQL: %s' % sql)
        print('ARGS: %s' % str(args))
复制代码

Model当中的save方法不难看懂,但是前面的几个方法看起来有些多余。但实际上它们也很重要,这里有一个关键信息是Model类的父类是dict,我们在构建Model的时候传入的参数会被用来初始化一个dict。所以我们创建数据实例的时候数据的名称和数据值的映射会被存储在dict当中,所以我们在save方法当中才会从self的attr当中获取字段的值。并且我们在初始化User的时候,也必须要填写每个字段的名称,原因就在这里。

最后我们来运行一下:

从结果上来看,我们输出了User这个类的插入SQL以及它的字段的值。只需要链接一下数据库,我们的这个ORM框架就可以真正投入使用了。

总结

在整个ORM框架实现的过程当中,最重要的是我们对Model这个类创建了元类,但是真正应用的地方却是在Model的子类。实际上在实际创建User类的时候,解释器会先搜索User内部是否定义了元类,如果没有,会上一层去往User的父类也就是Model类搜索元类,如果找到了元类,就会使用元类来创建User。相当于元类被隐形地继承了下来,但是我们在使用子类的时候却感知不到。

对于框架的使用者来说,也的确不需要了解框架内部的实现机制,只需要明白使用方法,照着使用就行了。虽然元类的实现和理解很复杂,但是使用起来却很简单,这也是它的一个显著特点。

如果喜欢本文,可以的话,请顺手点个赞,关注我,每天几篇小文章,进步 的 不只是一丢丢!

java链接opc报异常org.jinterop.dcom.common.JIException: Access is denied解决 记录一下这次从发现问题到解决问题的过程 项目是通过java链接OPC,读取数据,并且发送数据的 程序一直运行正常,最近客户反馈说无法读取数据,通过查看,发现访问异常了。花了2天的时间才解决了这个异常。 org.jinterop.dcom.common.JIException: Access is denied, please check whether the [domain-username-password] are correct. Also, if not already done please c 阅读详情

相关推荐

OAK-D-Pro深度解析:从硬件融合到全天候SLAM实战

本文深度解析OAK-D-Pro硬件架构及其在SLAM领域的实战应用。作为SLAM的"六边形战士",OAK-D-Pro融合主动双目摄像头、结构光投射器、6轴IMU等传感器,实现全天候稳定工作。通过实测数据展示其在弱纹理环境、动态光照等复杂场景下的卓越表现,并提供SLAM实战技巧与开发指南,帮助开发者快速部署高效SLAM解决方案。

weixin_27244795的博客 183

廖雪峰实战系列——ORM框架疏理

ORM(Object Relational Mapping,对象关系映射),是一种程序设计技术,用于实现面向对象编程语言里不同类型系统的数据之间的转换。从效果上来说,它其实创建了一个可在编程语言里使用的“虚拟对象数据库”。 上面是维基百科的解释,但是为什么要用ORM这种编程技术呢? 就这个实战作业来看:   博客——标题、摘要、内容、评论、作者、创作时间   评论——内容、评论人、评论文章...

bro_two的博客 373

准确率、召回率、f1指标计算的区别

准确率是模型正确预测的样本占总样本的比例。

stephen147的博客 1415

Python廖雪峰实战web开发(Day3-编写ORM)

在一个Web App中,所有数据,包括用户信息、发布的日志、评论等,都存储在数据库中。 由于Web框架使用了基于asyncio的aiohttp,这是基于协程的异步模型。在协程中,不能调用普通的同步IO操作,因为所有用户都是由一个线程服务的,协程的执行速度必须非常快,才能处理大量用户的请求。而耗时的IO操作不能在协程中以同步的方式调用,否则,等待一个IO操作时...

banmao8461的博客 344

电脑蓝牙与ESP32蓝牙连接,让电脑发现ESP32

让PC发现ESP32蓝牙

injre! injre~ 5451

Dify 从入门到精通:第一篇 - 基础介绍与快速上手

Dify是一个开源的低代码平台,旨在简化大型语言模型(LLM)应用的开发流程。本文作为"Dify从入门到精通"系列的首篇,全面介绍了Dify的核心概念、安装步骤和基本使用方法。文章首先解析了Dify的多模型支持、低代码开发等特点,然后详细讲解了基于Docker的安装配置过程,包括系统要求、环境变量设置等。通过创建一个邮件助手应用的实际示例,展示了Dify的可视化工作流设计功能。最后简要介绍了高级特性和最佳实践,为后续深入学习奠定基础。本文为开发者提供了从零开始使用Dify构建AI应用的完

IT深耕十余载,大道之简 1153

python使用元类验证子类

元类是python比较高级的用法,简而言之,元类就是创建类的类。 而type就是一个元类,是用来创建类对象的类。 因此,要定义元类就要使其继承type类。 通常情况下,开发者在使用OOP的方式编程时,往往会用到__init__方法,即构造函数。该方法会在类初始化时运行。但是我们可以将验证的时机提前,以至于提前到类创建之时,因此就会用到__new__方法。 class Base(type)...

杨佳佳的博客 637

【论文+CAD图纸】光储充一体化微电网设计

近些年来,我国的经济发展迅速,对能源的需求不断增长,也加重了对环境的破坏,违背了我国的可持续发展战略。所以迫切需要寻找新型能源。由于太阳能在使用时不会产生污染,所以太阳能逐渐受到人们的重视。我国的太阳能资源丰富,具有的开发利用潜力。特别是近些年“光储充”一体化充电站为高科技绿色充电模式,“以光养桩”使光伏、储能、智能充电协同,智能微电网与公共电网互动,本设计对探索清洁可再生能源在民用场合的应用,有着重大的理论和工程价值。本文综述国内外相关光伏发电的成果和发展现状;

weixin_761237174的博客 928

人生苦短,我用Python(目录)

目录 一、计算机基础 二、Python基础 三、函数 四、常用模块 五、模块和包 六、面向对象 七、网络编程socket 八、数据库 九、前端 十、Python Web框架 十一、版本控制--GIT 十二、爬虫 十三、前端框架之VUE 十四、量化投资与Python 十五、算法 十六、设计模式 十七、restful framework 十八、linux基...

dichengpai8268的博客 774

差分分析.

差分分析是一种强大的密码攻击技术,通过研究明文差分与密文差分的关系来破解加密算法。本文系统介绍了差分分析的核心概念和方法: 基础差分分析:通过异或运算抵消密钥影响,利用差分分布表(DDT)寻找高概率差分特征,以FEAL-4为例展示了具体攻击过程。 高级差分技术:包括截断差分分析(关注部分特征)、不可能差分分析(排除概率为0的路径)和飞来去器分析(将算法分段处理)。 自动化搜索方法:介绍了松井算法和MILP(混合整数线性规划)方法,将差分路径搜索转化为数学优化问题。 这些方法展现了差分分析从基础理论到现代应用

weixin_61562383的博客 788

EtherCAT同步模式实战:如何用TwinCAT配置DC-Synchronous模式(附时序图详解)

本文详细解析了如何在TwinCAT环境中配置EtherCAT的DC-Synchronous同步模式,实现纳秒级同步精度。通过硬件准备、参数配置和高级调优步骤,帮助工程师解决工业自动化中的同步挑战,提升运动控制性能。

gold的博客 1576

人生苦短、我用python t恤_人生苦短,我用Python

目录一、计算机基础二、Python基础三、Python之函数四、Python之常用模块五、Python之模块和包六、Python之面向对象七、Python之网路编程1、对于socket的认识2、进程相关3、线程相关4、concurrent.futures模块5、协程相关6、并发编程八、数据库1、Mysql2、Redis3、MongoDB4、SQLAlchemySQLAlchemy的使用(SQLAl...

weixin_39606799的博客 116

手把手教你学simulink(24.4)--Simulink在机器人视觉场景下的应用——基于视觉的物体跟踪与抓取

该系统集成了图像处理、目标检测、运动估计、路径规划、抓取控制和视觉反馈等多个功能模块,能够实现实时处理视觉数据、检测并跟踪移动物体、规划最优路径并控制机械臂进行精确抓取。本项目的目标是使用Simulink和MATLAB设计一个基于视觉的物体跟踪与抓取系统,该系统能够实时处理图像数据,检测并跟踪移动物体,规划最优的抓取路径,并控制机械臂进行精确抓取。为了验证系统的性能,我们在Simulink中搭建了基于视觉的物体跟踪与抓取系统的仿真模型。

MHD0815的博客 259

人生苦短,我用Python

Python之路 一、Python基础 二、数据库 三、前端 四、Django框架 Python Web框架须知 HTTP介绍 Web框架介绍 Django框架基础应用 Django之ORM ORM之简介与应用 ORM之常用字段和参数 ORM之关系字段 ORM之元信息 ORM之一般操作 OR...

weixin_30423977的博客 70

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

人生苦短我用pHP,人生苦短,我用Python

标签:认证tpspythontar自定义httpsmanpytho序列化Python之路一、Python基础二、数据库三、前端四、Django框架Python Web框架须知HTTP介绍Web框架介绍Django框架基础应用Django之ORMORM之简介与应用ORM之常用字段和参数ORM之关系字段ORM之元信息ORM之一般操作ORM之Foreign...

weixin_36081327的博客 184

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

人生苦短、我用python_人生苦短,我用Python(目录)

目录一、计算机基础二、Python基础三、Python之函数四、Python之常用模块五、Python之模块和包六、Python之面向对象七、Python之网路编程1、对于socket的认识2、进程相关3、线程相关4、concurrent.futures模块5、协程相关6、并发编程八、数据库1、Mysql2、Redis3、MongoDB4、SQLAlchemySQLAlchemy的使用(SQLAl...

weixin_39989384的博客 86

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Flask-ORM操作MYSQL(实现增删改查)

首先实现增加数据的功能 from sqlalchemy import create_engine from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import Column, Integer, String from sqlalchemy.orm import sessionmaker HOSTNAME = '127.0.0.1' DATABASE = 'student' PORT = 3306 USERNAM

分享与记录 1657

Python的ORM框架SQLAlchemy使用入门(二)【连接MySql数据库】

众生皆苦,放下即自在。天地皆空,唯有人在其中苦。沧海桑田,人生苦短。天地之空,在于无欲,任由万物在其中自由变幻,它依然安之若泰。人生之苦,皆因无力回天却又耿耿于怀。人本是人,只有承认自己不是万能之主,从而学会放下,才能与天地同自在。放下你无力改变的,追求你力所能及的,人生才自在。连接,增加数据 代码如下:from sqlalchemy import * from datetime import da

极客神殿 1746

python SQLAlchemy ORM操作数据库之 增删改查

数据库的操作中,增删改查是最重要的,最常用的操作, 数据库的重头戏

LCY133的博客 965

Flask框架七:ORM操作MySQL(一)

1、ORM基础操作 注意点: ①创建新表时必须写Base.metadata.create_all(),数据库中已存在这张表就可以不写(写了不会报错),代表将创建的(类)表映射到数据库中,如果数据库中已经存在这个表了,则不会改变表结构,如果后续操作有冲突则会报错(比如添加一个表中不存在的字段记录),如果没冲突则会往已存在的表里面做操作 ②写入数据库中的流程类似于git,先add在commit,要通过实例sessionmaker在调用它的实例化对象使用,为什么这么用具体看代码注释 ③通过实例化创建的类可以添加想

weixin_49088841的博客 652

人生苦短,我用python-- Day12

课程目录   1.数据库介绍、RDBMS 术语   2.mysql数据库安装使用   3.mysql管理   4.mysql数据类型   5.常用mysql命令     创建数据库     外键     增删改查表     权限   6.事物   6.索引   7.python操作mysql   8.ORM sqlachemy学习 1.数据库介绍           ...

weixin_30419799的博客 159

谁说Python找工作难?人生苦短,Python工程师你们还好吗?

相信曾经纠结过这个问题:怎样才能彻底掌握flask? Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ,模板引擎则使用 Jinja2 。Flask使用 BSD 授权。 Flask也被称为 “microframework” ,因为它使用简单的核心,用 extension 增加其他功能。Flask没有默认使用的数据库、窗体验证工具。 ...

591

2020年值得去了解的12个Python Web框架

在Web开发领域,Python其实并没有像在机器学习和数据处理这个领域一样占有统治地位。不过鉴于Python在最近几年的强势地位,了解一下Python的web框架也挺有必要的。万一哪天我自己或者是客户“脑抽”了,真的要用Python来写web应用了呢?框架(Framework)让程序员的生活更容易,常用的功能和方法都打包进了框架里,直接从库里拿出来修改一下就用,确实是个省时省力,干活多快好省的好东...

Rocky的技术博客 2万+
上一篇: 人生苦短,我用Python ————线程与进程的区别,Python中如何创建多线程?
下一篇: 万字干货,Python语法大合集,一篇文章带你入门(二)收藏必备!
测试小小小
博客等级 码龄6年 265粉丝 364原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值