22 Python class 深入理解Python中的元类(metaclass)

深入理解Python中的元类(metaclass)

本文基于深刻理解Python中的元类(metaclass) -伯乐在线 ，对其中的错误内容做了更正和补充。

类也是对象

在理解元类前，需要先掌握Python中的类。在大多数编程语言中，类就是一组描述如何生成对象的代码段。在Python中这一点仍然成立：

>>> class ObjectCreator(object):
        pass

>>> my_object = ObjectCreator()
>>> print my_object
<__main__.ObjectCreator object at 0x8974f2c>

但是，Python中的类远不止如此。类也是一种对象(实例)。是的，没错，就是对象。只要使用关键字class，Python解释器在执行时就会创建一个类对象。

>> class ObjectCreator(object):
       pass

上述代码在内存中创建一个名为ObjectCreator的类对象。只不过这个对象(类)拥有创建对象(类实例)的能力，而这也是它是一个类的原因。但是，ObjectCreator本质上仍然是一个对象，可以对它做如下的操作：

1) 将它赋值给一个变量；

2) 拷贝它；

3) 增加属性；

4) 将它作为函数参数进行传递；

>>> print ObjectCreator                      #可以打印一个类，因为它也是一个对象
<class '__main__.ObjectCreator'>
>>> def fun(o):
        print o

>>> fun(ObjectCreator)                       #可以将类做为参数传给函数
<class '__main__.ObjectCreator'>

>>> print hasattr(ObjectCreator, 'new_attribute')
Fasle
>>> ObjectCreator.new_attribute = 'new'       #可以为类增加属性
>>> print hasattr(ObjectCreator, 'new_attribute')
True
>>> print ObjectCreator.new_attribute
new

>>> ObjectCreatorMirror = ObjectCreator       #你可以将类赋值给一个变量
>>> print ObjectCreatorMirror()
<__main__.ObjectCreator object at 0x8997b4c>

动态创建类

因为类也是对象，所以可以在运行时动态的创建它们，就像其他对象一样。可以在函数中创建类，使用class关键字即可。

>>> def Foo(name):
        if name == 'foo':
            class Foo(object):
                pass
            return Foo             #返回类
        else:
            class Bar(object):
                pass
            return Bar

>>> MyClass = Foo('foo')
>>> print MyClass                  #函数返回的是类,不是类的实例
<class '__main__.Foo'>
>>> print MyClass()                #可以通过这个类创建类实例，也就是对象
<__main__.Foo object at ...>

由于类也是对象，所以它们也是通过什么东西来生成的。还记得内建函数type吗？这个古老但强大的函数能够让你知道一个对象的类型是什么，就像这样：

>>> print type(1)
<type 'int'>
>>> print type("1")
<type 'str'>
>>> print type(ObjectCreator)
<type 'type'>
>>> print type(ObjectCreator())
<class '__main__.ObjectCreator'>

type还有一种完全不同的能力，它也能动态的创建类。type可以接受一个类的描述作为参数，然后返回一个类。(根据传入参数的不同，同一个函数拥有两种完全不同的用法是一件很傻的事情，但这在Python中是为了保持向后兼容性.)

type可以像这样工作

type(class_name,class_parents,class_dict)
type(类名, 父类的元组(针对继承的情况,可以为空), 包含属性的字典(名称和值,类属性))

如下面的代码

>>> class Foo(object):
        pass

等价于

>>> Foo = type('Foo', (), {})      #返回一个类对象
>>> print Foo
<class '__main__.Foo'>
>>> print Foo()                    #创建一个该类的实例
<__main__.Foo object at 0x8997cec>

type 接受一个字典来为类定义类属性，因此

class Foo(object):       
    bar = True

可以翻译为

Foo = type('Foo', (), {'bar':True})

并且可以将Foo当成一个普通的类一样使用

>>> print Foo
<class '__main__.Foo'>
>>> print Foo.bar
True
>>> f = Foo()
>>> print f
<__main__.Foo object at 0x8a9b84c>

当然，也可以继承这个类，如下代码

>>> class FooChild(Foo):
        pass

也可以写成

>>> FooChild = type('FooChild', (Foo,),{})
>>> print FooChild
<class '__main__.FooChild'>
>>> print FooChild.bar             #bar属性是由Foo继承而来
True

也可以为类增加方法

>>> def echo_bar(self):
        print self.bar

>>> FooChild = type('FooChild', (Foo,), {'echo_bar': echo_bar})
>>> hasattr(Foo, 'echo_bar')
False
>>> hasattr(FooChild, 'echo_bar')
True
>>> f = FooChild()
>>> f.echo_bar()
True

在Python中，类也是对象，可以动态的创建类。这就是当你使用关键字class时Python在幕后做的事情，这些是通过元类实现的。

什么是元类

元类就是用来创建类的“东西”。创建类是为了创建类的实例对象。但是我们已经知道了Python中的类也是对象。元类就是用来创建这些类（对象）的，元类就是类的类，简而言之，元类是用来创建和管理类对象的。可以这样理解：

MyClass = MetaClass()
MyObject = MyClass()

type可以让你这样创建一个类

MyClass = type('MyClass', (), {})

**这是因为type是一个元类。**type就是Python在背后用来创建所有类的元类。

为什么type会全部采用小写形式而不是Type呢？好吧，我猜这是为了和str保持一致性，str是用来创建字符串对象的类，而int是用来创建整数对象的类。

type就是创建类对象的类。可以通过__class__属性来看到这一点。Python中所有的东西，注意，是指所有的东西—都是对象。这包括整数、字符串、函数以及类。它们全部都是对象，而且它们都是从一个类创建而来的。

>>> age = 35
>>> age.__class__
<type 'int'>
>>> name = 'bob'
>>> name.__class__
<type 'str'>
>>> def foo(): pass
>>>foo.__class__
<type 'function'>
>>> class Bar(object): pass
>>> f = Foo()
>>> f.__class__
<class '__main__.Foo'>

那么对于任何一个__class__的__class__属性又是什么呢？

>>> age.__class__.__class__
<type 'type'>
>>> name.__class__.__class__
<type 'type'>
>>> foo.__class__.__class__
<type 'type'>
>>> f.__class__.__class__
<type 'type'>

因此，元类就是用来创建类对象的。如果你喜欢的话，可以把元类称为“类工厂”（不要和工厂类搞混了）。 type就是Python的内建元类，当然，你也可以自定义元类。

__metaclass__属性

可以在定义类的时候为其添加__metaclass__属性。

class Foo(object):
    __metaclass__ = ...

如果你这么做了，Python就会用指定的元类来创建类。

小心点，这里面有些技巧。首先写下class Foo(object)，但是类对象Foo还没有在内存中创建。Python会在类的定义中寻找__metaclass__属性，如果找到了，Python就会用它来创建类Foo，如果没有找到，就会用内建的type来创建这个类。

当你写如下代码时 :

class Foo(Bar):
    pass

Python做了如下的操作:

Foo中定义了__metaclass__吗？如果是，Python会在内存中通过__metaclass__创建一个名字为Foo的类对象。如果Python没有在Foo中找到__metaclass__，它会继续在Bar(父类)中寻找__metaclass__属性，并尝试做和前面相同的操作。如果Python在任何父类中都找不到__metaclass__，

1. 如果是旧式类，继续在模块层次中寻找__metaclass__，并尝试做同样的操作。如果还是找不到 __metaclass__ ，Python就会用内置的type来创建这个类对象。
2. 如果是新式类，Python就会用内置的type来创建这个类对象。

现在问题来了，你可以在__metaclass__中放置些什么代码呢？答：可以创建一个类的东西。那么什么可以用来创建一个类呢？type，或者任何使用到type或者子类化type的东东都可以。

自定义元类

元类是用来创建和管理类对象的。

假设你想模块里所有的类属性都应该是大写形式。有好几种方法可以办到，但其中一种就是通过设定__metaclass__。采用这种方法，只需要告诉元类把所有的属性都改成大写形式就OK了。

__metaclass__不一定是个类，函数也可以- -! 这里先以一个简单的函数作为例子开始。

#!/usr/bin/python
# -*- coding:utf-8 -*-

#元类会自动将传给type的参数作为自己的参数传入
def upper_attr(future_class_name, future_class_parents, future_class_attr):
    '''返回一个类对象，所有不以__开头的属性都将被转为大写形式'''
    #选择所有不以'__'开头的属性,将它们转为大写形式
    attrs = ((name, value) for name, value in future_class_attr.items() if not name.startswith('__'))
    class_attr = dict((name.upper(), value) for name, value in attrs)

    #通过type来做类对象的创建
    return type(future_class_name, future_class_parents, class_attr)

__metaclass__ = upper_attr  #  这会作用到这个模块中的 旧式类 ,对新式类无效

class Foo:
    #也可以在这里定义__metaclass__，这样就只会作用于这个类中,在旧式类中未找到__metaclass__,会到模块层次上去查找
    bar = 'bip'

print hasattr(Foo, 'bar') #False
print hasattr(Foo, 'BAR') #True
print Foo.BAR             #bip

class Foo(object):
    __metaclass__ = upper_attr  #新式类的__metaclass__必须写到类中,模块层次的__metaclass__不起作用
    bar = 'bip'

print hasattr(Foo, 'bar') #False
print hasattr(Foo, 'BAR') #True
print Foo.BAR             #bip

这一次用一个真正的class来做元类。

请记住，’type’实际上是一个类，就像’str’和’int’一样，可以从type继承。

自定义元类时，通常会继承type，并重新实现__init__()或__new__()等方法。

__new__ 是在__init__之前被调用的特殊方法，__new__是用来创建对象并返回该对象的方法，而__init__基本等于构造函数，用来初始化对象的；
__new__很少被用到，除非想控制对象的创建；

在这里，创建的对象是类，我们希望能够自定义它，所以我们这里改写__new__ ，如果需要的话，也可以在__init__中做些事情。

class UpperAttrMetaclass(type):
    def __new__(upperattr_metaclass, future_class_name, future_class_parents, future_class_attr):
        attrs = ((name, value) for name, value in future_class_attr.items() if not name.startswith('__'))
        new_attr = dict((name.upper(), value) for name, value in attrs)
        # 复用type.__new__方法
        return type.__new__(upperattr_metaclass, future_class_name, future_class_parents, new_attr)

你可能已经注意到了有个额外的参数upperattr_metaclass，这并没有什么特别的。类方法的第一个参数总是表示当前的实例，就像在普通的类方法中的self参数一样。当然了，为了清晰起见，这里的名字起的比较长。就像self一样，所有的参数都有它们的传统名称。因此，一个元类应该是这样的：

class UpperAttrMetaclass(type):
    def __new__(cls, name, bases, dct):
        attrs = ((name, value) for name, value in dct.items() if not name.startswith('__'))
        new_attr  = dict((name.upper(), value) for name, value in attrs)
        return type.__new__(cls, name, bases, new_attr) 

如果使用super方法的话，还可以使它变得更清晰一些。

class UpperAttrMetaclass(type):
    def __new__(cls, name, bases, dct):
        attrs = ((name, value) for name, value in dct.items() if not name.startswith('__'))
        uppercase_attr = dict((name.upper(), value) for name, value in attrs)
        return super(UpperAttrMetaclass, cls).__new__(cls, name, bases, uppercase_attr)

class Foo(object):
    __metaclass__ = UpperAttrMetaClass
    a = 'a'

print Foo.__dict__['A']         #'a'

再来个例子，定义一个元类，用来检查类对象中的方法是否定义了__doc__

class docmeta(type):
    '''检查方法是否定义了__doc__属性'''
    def __init__(self,classname,class_parents,class_dict):
        for key,value in class_dict.items():
            #跳过特殊方法和私有方法
            if key.startswith("__"):continue
            #跳过不可调用的方法
            if not hasattr(value,"__call__"):continue
            #检查__doc__
            if not getattr(value,'__doc__'):
                raise TypeError('%s must be have __doc__'%key)
            super(docmeta,self).__init__(classname,class_parents,class_dict)

未定义__doc__

class Foo1(object):
    __metaclass__ = docmeta
    def fun(self):pass
'''TypeError: fun must be have __doc__'''

定义了__doc__

class Foo1(object):
    __metaclass__ = docmeta
    def fun(self):
        '''explain'''
        pass
'''正确,没有异常'''

除此之外，关于元类没有别的可说的了。使用到元类的代码比较复杂，这背后的原因倒并不是因为元类本身，而是因为通常会使用元类去做一些晦涩的事，依赖于自省，控制继承等等。确实，用元类来搞些“黑魔法”是特别有用的，但是搞出的东西都很复杂。就元类本身而言，它们其实是很简单的：

1) 拦截类的创建；

2) 修改和检查类；

3) 返回修改之后的类；

__metaclass__为什么要用类而不是函数?

由于__metaclass__可以接受任何可调用的对象，那为何还要使用类呢？

1） 意图会更加清晰。当读到UpperAttrMetaclass(type)时，你知道接下来要发生什么；

2） 可以使用OOP编程。元类可以继承元类，改写父类的方法。元类甚至还可以使用元类；

3） 可以把代码组织的更好。当使用元类时，通常都是针对比较复杂的问题。将多个方法归总到一个类中会很有帮助，也会使代码更容易阅读；

4） 可以使用__new__, __init__以及__call__这样的特殊方法。它们能处理不同的任务。就算可以把所有的东西都在__new__里处理，有些人还是觉得用__init__更舒服些；

5） 哇哦，这东西的名字是metaclass，肯定非善类，小心使用！

究竟为什么要使用元类？

现在回到我们的大主题，为什么要去使用这种容易出错且难懂的特性？好吧，一般来说，你根本就用不上它。

“元类就是黑魔法，99%的用户根本不必为此操心。如果你想搞清楚究竟是否需要用到元类，那么你就不需要它。那些实际用到元类的人都非常清楚地知道他们需要做什么，而且根本不需要解释为什么要用元类。“ —— Python界的领袖 Tim Peters

元类的主要用途是创建API。一个典型的例子是Django ORM。它允许像这样定义：

class Person(models.Model):
    name = models.CharField(max_length=30)
    age = models.IntegerField()

但是如果像这样做的话：

guy  = Person(name='bob', age='35')
print guy.age

这并不会返回一个IntegerField对象，而是会返回一个int，甚至可以直接从数据库中取出数据。这是有可能的，因为models.Model定义了__metaclass__， 并且使用了一些魔法能够将你刚刚定义的简单的Person类转变成对数据库的一个复杂hook。Django框架将这些看起来很复杂的东西通过暴露出一个简单的使用元类的API将其化简，通过这个API重新创建代码，在背后完成真正的工作。

结语

首先，你知道了类是能够创建出类实例的对象。好吧，事实上，类本身也是实例，当然，它们是元类的实例。

Python中的一切都是对象，它们要么是类的实例，要么是元类的实例，除了type。type实际上是它自己的元类，在纯Python环境中这可不是你能够做到的，这是通过在实现层面耍一些小手段做到的。其次，元类是很复杂的。对于非常简单的类，你不希望使用元类来对类做修改。你可以通过其他两种技术来修改类：

1） Monkey patching

2) class decorators

当需要动态修改类时，最好使用上面的两种技术。当然了，大部分情况下不需要动态修改类。

转载请标明出处，原文地址(http://blog.youkuaiyun.com/lis_12/article/details/53837491).

如果觉得本文对您有帮助，请点击‘顶’支持一下，您的支持是我写作最大的动力，谢谢。