深入理解Python元类机制与应用
一、元类的基本概念
元类(metaclass):用于创建类的类。
这个定义可能有些抽象,让我们逐步解析:
在大多数编程语言中,类是一组用于描述如何生成对象的代码结构,Python也不例外。
实例对象是由类创建的,而在Python中,类本身也是可以传递和自省的对象。
那么,类对象是由什么创建的呢?答案是元类。<strong>元类是一种知道如何创建和管理类的对象,也可以称为类生成器。</strong>
所有对象都是通过实例化类或调用类得到的(调用类的过程称为类的实例化)。Python提供了一个内置方法来查看类对象的类,那就是<strong>type</strong>**:
查看对象的类型:

查看类的类型

结果为<class 'type'>,证明是调用了type这个元类而产生的StanfordTeacher,即默认的元类为type,这是否让你感到意外?
由此我们可以推导出:

二、class关键字创建类的内部机制
基于Python中一切皆对象的概念,我们可以分析出:使用class关键字定义的类本身也是一个对象,负责创建该对象的类称为元类(元类可简称为类的类),Python内置的元类是type
class关键字在创建类时,必然调用了元类StanfordTeacher=type(...),那么调用type时传入的参数是什么呢?必然是类的关键组成部分,一个类由三大要素组成:
1、类名class_name='StanfordTeacher'
2、基类们class_bases=(object,)
3、类的名称空间class_dic,类的名称空间是执行类体代码而得到的
调用type时会依次传入以上三个参数
type可以接受一个类的描述作为参数,然后返回一个类。type的工作方式如下:
type(类名, 由父类名称组成的元组(针对继承的情况,可以为空),包含属性的字典(名称和值))
例如下面的代码:

可以手动这样创建:

那么class关键字底层具体做了什么?
<strong># 1、先获取类名</strong>
class_name = "StanfordTeacher"
<strong># 2、获取类的父类
</strong>class_bases = (object,)
<strong># 3、执行类体代码,将产生的名字放入名称空间
</strong>class_dic = {}
class_body = """
school = 'oldboy'
def __init__(self, name, age):
self.name = name
self.age = age
def say(self):
print('%s says welcome to the oldboy to learn Python' % self.name)
"""<br></br>
exec(class_body, {}, class_dic)
# print(class_dic)
<strong># 4、调用元类(传入类的三大要素:类名、基类、类的名称空间)得到一个元类的对象,然后将该对象赋值给变量名StanfordTeacher,StanfordTeacher就是我们用class自定义的那个类
</strong>StanfordTeacher = type(class_name, class_bases, class_dic)
综上,class关键字创建一个类的过程可分为以下四个步骤

三、元类的本质
元类就是用来创建类的"工具"。你创建类是为了创建类的实例对象,不是吗?但我们已经了解到Python中的类也是对象。
元类就是用来创建这些类(对象)的,元类就是类的类,可以这样理解:
<strong>MyClass = MetaClass() #使用元类创建出一个对象,这个对象称为"类"
MyObject = MyClass() #使用"类"来创建出实例对象
</strong>
你已经看到type可以这样使用:
<strong>MyClass = type('MyClass', (), {})
</strong>
这是因为函数type实际上是一个元类。type是Python在背后用来创建所有类的元类。type就是创建类对象的类。你可以通过检查__class__属性来看到这一点。Python中的一切,注意,我是指一切——都是对象。这包括整数、字符串、函数以及类。它们全部都是对象,而且它们都是从类创建而来,这个类就是type。
四、通过自定义元类控制类的创建
一个类没有声明自己的元类,默认它的元类就是type,除了使用内置元类type,我们也可以通过继承type来自定义元类,然后使用metaclass关键字参数为一个类指定元类
class CustomMeta(type): <strong>#只有继承了type类才能称之为一个元类,否则就是一个普通的自定义类</strong>
pass
# StanfordTeacher=CustomMeta('StanfordTeacher',(object),{...})
class StanfordTeacher(object, metaclass=CustomMeta):
school='Stanford'
def __init__(self, name, age):
self.name=name
self.age=age
def say(self):
print('%s says welcome to the Stanford to learn Python' %self.name)
自定义元类可以控制类的创建过程,类的创建过程其实就是元类的调用过程,即
StanfordTeacher=CustomMeta('StanfordTeacher',(object),{...}),
调用CustomMeta会先产生一个空对象StanfordTeacher,
然后连同调用CustomMeta括号内的参数一同传给CustomMeta下的__init__方法,完成初始化,
于是我们可以自定义元类来控制StanfordTeacher类的创建:如下示例
1.自定义元类来控制StanfordTeacher类的创建
import re
class CustomMeta(type): # 只有继承了type类的类才是自定义的元类
def __init__(self, class_name, class_bases, class_dic):
# print(self) # 类<class '__main__.StanfordTeacher'>
# print(class_name)
# print(class_bases)
# print(class_dic)
if not re.match("[A-Z]", class_name):
raise BaseException("类名必须使用驼峰命名法")
if len(class_bases) == 0:
raise BaseException("至少继承一个父类")
# print("文档注释:",class_dic.get('__doc__'))
doc=class_dic.get('__doc__')
if not (doc and len(doc.strip()) > 0):
raise BaseException("必须要有文档注释,并且注释内容不能为空")
# StanfordTeacher = CustomMeta("StanfordTeacher",(object,),{...})
class StanfordTeacher(object, metaclass=CustomMeta):
"""
adsaf
"""
school = 'oldboy'
def __init__(self, name, age):
self.name = name
self.age = age
def say(self):
print('%s says welcome to the oldboy to learn Python' % self.name)
自定义元类来控制StanfordTeacher类的调用:
预备知识:__call__
class DemoClass:
def __call__(self, *args, **kwargs):
print(self)
print(args)
print(kwargs)
obj=DemoClass()
#<strong>1、要让obj这个对象变成可调用对象,需要在该对象的类中定义__call__方法,该方法会在调用对象时自动触发</strong>
#2、调用obj的返回值就是__call__方法的返回值
res=obj(1,2,3,x=1,y=2)
由上例可知,调用一个对象,就是触发对象所在类中的__call__方法的执行,如果把StanfordTeacher也当作一个对象,那么在StanfordTeacher这个对象的类中也必然存在一个__call__方法
class CustomMeta(type): #只有继承了type类才能称之为一个元类,否则就是一个普通的自定义类
def __call__(self, *args, **kwargs):
print(self) #<class '__main__.StanfordTeacher'>
print(args) #('lili', 18)
print(kwargs) #{}
return 123
class StanfordTeacher(object, metaclass=CustomMeta):
school='Stanford'
def __init__(self, name, age):
self.name=name
self.age=age
def say(self):
print('%s says welcome to the Stanford to learn Python' %self.name)
<strong># 调用StanfordTeacher就是在调用StanfordTeacher类中的__call__方法
# 然后将StanfordTeacher传给self,溢出的位置参数传给*,溢出的关键字参数传给**
# 调用StanfordTeacher的返回值就是调用__call__的返回值</strong>
t1=StanfordTeacher('lili',18)
print(t1) #123
默认情况下,调用t1=StanfordTeacher('lili',18)会做三件事:
1、产生一个空对象obj
2、调用__init__方法初始化对象obj
3、返回初始化好的obj
对应地,StanfordTeacher类中的__call__方法也应该做这三件事:
class CustomMeta(type): #只有继承了type类才能称之为一个元类,否则就是一个普通的自定义类
def __call__(self, *args, **kwargs): #self=<class '__main__.StanfordTeacher'>
#1、调用__new__产生一个空对象obj
obj=self.__new__(self) # 此处的self是类StanfordTeacher,必须传参,代表创建一个StanfordTeacher的对象obj
#2、调用__init__初始化空对象obj
self.__init__(obj,*args,**kwargs)
#3、返回初始化好的对象obj
return obj
class StanfordTeacher(object, metaclass=CustomMeta):
school='Stanford'
def __init__(self, name, age):
self.name=name
self.age=age
def say(self):
print('%s says welcome to the Stanford to learn Python' %self.name)
t1=StanfordTeacher('lili',18)
print(t1.__dict__) #{'name': 'lili', 'age': 18}
上例的__call__相当于一个模板,我们可以在该基础上改写__call__的逻辑从而控制调用StanfordTeacher的过程,比如将StanfordTeacher的对象的所有属性都变成私有的
import re
class CustomMeta(type): # 只有继承了type类的类才是自定义的元类
def __init__(self, class_name, class_bases, class_dic):
# print(self) # 类<class '__main__.StanfordTeacher'>
# print(class_name)
# print(class_bases)
# print(class_dic)
if not re.match("[A-Z]", class_name):
raise BaseException("类名必须使用驼峰命名法")
if len(class_bases) == 0:
raise BaseException("至少继承一个父类")
# print("文档注释:",class_dic.get('__doc__'))
doc = class_dic.get('__doc__')
if not (doc and len(doc.strip()) > 0):
raise BaseException("必须要有文档注释,并且注释内容不能为空")
# res = StanfordTeacher('egon',18)
def __call__(self, *args, **kwargs):
# 1、先创建一个老师的空对象
teacher_obj = object.__new__(self)
# 2、调用老师类内的__init__函数,然后将老师的空对象连同括号内的参数一同传给__init__
self.__init__(teacher_obj, *args, **kwargs)
teacher_obj.__dict__ = {"_%s__%s" %(self.__name__,k): v for k, v in teacher_obj.__dict__.items()}
# 3、将初始化好的老师对象赋值给变量名res
return teacher_obj
# StanfordTeacher = CustomMeta("StanfordTeacher",(object,),{...})
class StanfordTeacher(object, metaclass=CustomMeta):
"""
adsaf
"""
school = 'oldboy'
# teacher_obj,'egon',18
def __init__(self, name, age):
self.name = name # teacher_obj.name='egon'
self.age = age # teacher_obj.age=18
def say(self):
print('%s says welcome to the oldboy to learn Python' % self.name)
res = StanfordTeacher('egon', 18)
print(res.__dict__)
# print(res.name)
# print(res.age)
# print(res.say)
# 调用StanfordTeacher类做的事情:
<strong># 1、先创建一个老师的空对象
# 2、调用老师类内的__init__方法,然后将老师的空对象连同括号内的参数一同传给__init__
# 3、将初始化好的老师对象赋值给变量名res
</strong>
最后说明一点
class CustomMeta(type): #只有继承了type类才能称之为一个元类,否则就是一个普通的自定义类
n=444
def __new__(cls, *args, **kwargs):
obj=type.__new__(cls,*args,**kwargs) # 必须按照这种传值方式
print(obj.__dict__)
# return obj # 只有在返回值是type的对象时,才会触发下面的__init__
return 123
def __init__(self,class_name,class_bases,class_dic):
print('run。。。')
class StanfordTeacher(object, metaclass=CustomMeta): #StanfordTeacher=CustomMeta('StanfordTeacher',(object),{...})
n=111
school='Stanford'
def __init__(self,name,age):
self.name=name
self.age=age
def say(self):
print('%s says welcome to the Stanford to learn Python' %self.name)
print(type(CustomMeta)) #<class 'type'>
# 产生类StanfordTeacher的过程就是在调用CustomMeta,而CustomMeta也是type类的一个对象,那么CustomMeta之所以可以调用,一定是在元类type中有一个__call__方法
# 该方法中同样需要做至少三件事:
# class type:
# def __call__(self, *args, **kwargs): #self=<class '__main__.CustomMeta'>
# obj=self.__new__(self,*args,**kwargs) # 产生CustomMeta的一个对象
# self.__init__(obj,*args,**kwargs)
# return obj
五、元类冲突
假设有两个不同的元类,要创建一个继承这两个类的子类,会发生什么情况呢?

这时会报错,出现元类冲突。
我们需要手动构造新的子类元类,让新的子类元类继承自A和B的元类:

六、元类的应用场景
使用元类编程前,我们需要了解其缺点:
实现复杂
代码可读性不高
不易维护
实际上,Tim Peters的名言就说明了这一点,不要在生产代码中随意使用元类,而且现有的编码规范也不推荐使用。
就元类本身而言,它的作用是:
拦截类的创建
修改类
返回修改后的类
意图更加明确。当然你的metaclass名称要起好
面向对象。可以隐式继承到子类
可以更好地组织代码
可以使用__new__,__init__,__call__等方法更好地控制
七、Python中__call__,__new__,__init__三者的关系
在类实例化的过程中,哪个对象加()就寻找产生这个对象的类的__call__方法,只要是__call__方法,一定会做三件事:
第一:调用__new__方法,构造新的对象,相当于其他语言中的构造函数。(对象自己的__new__)
第二:调用__init__方法,去初始化这个对象(对象自己的__init__)
第三:返回这个对象.
注意:__new__更像是其他语言中的构造函数,必须有返回值,返回实例化的对象,__init__只是初始化构造函数,必须没有返回值,仅用于初始化功能,不能创建对象。
也就是说,一个类在实例化时实际上是做了三件事:
第一:触发元类中(创建这个类的类)的__call__方法
第二:通过__new__产生一个空对象
第三:通过__init__初始化这个对象
第四:返回这个对象
类在实例化对象时的函数调用顺序依次是:
__call__==>__new__==>__init__
八、练习:
1、在元类中控制把自定义类的数据属性都变成大写
class UpperAttrMeta(type):
def __new__(cls,name,bases,attrs):
updated_attrs={}
for k,v in attrs.items():
if not callable(v) and not k.startswith('__'):
updated_attrs[k.upper()]=v
else:
updated_attrs[k]=v
return type.__new__(cls,name,bases,updated_attrs)
class Chinese(metaclass=UpperAttrMeta):
country='China'
tag='Legend of the Dragon' #龙的传人
def walk(self):
print('%s is walking' %self.name)
print(Chinese.__dict__)
'''
{'__module__': '__main__',
'COUNTRY': 'China',
'TAG': 'Legend of the Dragon',
'walk': <function Chinese.walk at 0x0000000001E7B950>,
'__dict__': <attribute '__dict__' of 'Chinese' objects>,
'__weakref__': <attribute '__weakref__' of 'Chinese' objects>,
'__doc__': None}
'''
2、在元类中控制自定义的类不使用__init__方法完成以下
1.元类帮其完成创建对象,以及初始化操作;
2.要求实例化时传参必须为关键字形式,否则抛出异常TypeError: must use keyword argument
3.key作为用户自定义类产生对象的属性,且所有属性变成大写
class KeywordOnlyMeta(type):
def __call__(self, *args, **kwargs):
if args:
raise TypeError('必须使用关键字参数')
obj = object.__new__(self) #创建对象,self为类Chinese
for k,v in kwargs.items():
obj.__dict__[k.upper()]=v
return obj
class Chinese(metaclass=KeywordOnlyMeta):
country='China'
tag='Legend of the Dragon' #龙的传人
def walk(self):
print('%s is walking' %self.name)
p=Chinese(name='lili',age=18,sex='male')
print(p.__dict__)
3、在元类中控制自定义的类产生的对象相关的属性全部为隐藏属性
class PrivateAttrMeta(type):
def __init__(self,class_name,class_bases,class_dic):
#控制类Chinese的创建
super(PrivateAttrMeta,self).__init__(class_name,class_bases,class_dic)
def __call__(self, *args, **kwargs):
#控制Chinese的调用过程,即Chinese对象的产生过程
obj = self.__new__(self)
self.__init__(obj, *args, **kwargs)
obj.__dict__={'_%s__%s' %(self.__name__,k):v for k,v in obj.__dict__.items()}
return obj
class Chinese(object, metaclass=PrivateAttrMeta): # Chinese=PrivateAttrMeta(...)
def __init__(self, name, age,sex):
self.name=name
self.age=age
self.sex=sex
obj=Chinese('lili',18,'male')
print(obj.__dict__)
4、基于元类实现单例模式
# 单例:即单个实例,指的是同一个类实例化多次的结果指向同一个对象,用于节省内存空间
# 如果我们从配置文件中读取配置来进行实例化,在配置相同的情况下,就没必要重复产生对象浪费内存了
#config.py文件内容如下
HOST='1.1.1.1'
PORT=3306
方式一:定义一个类方法实现单例模式
import config
class Database:
__instance=None
def __init__(self,host,port):
self.host=host
self.port=port
@classmethod
def singleton(cls):
if not cls.__instance:
cls.__instance=cls(config.HOST,config.PORT)
return cls.__instance
obj1=Database('1.1.1.2',3306)
obj2=Database('1.1.1.3',3307)
print(obj1 is obj2) #False
obj3=Database.singleton()
obj4=Database.singleton()
print(obj3 is obj4) #True
方式二:定制元类实现单例模式
import config
class SingletonMeta(type):
def __init__(self,name,bases,dic): #定义类Database时就触发
# 事先先从配置文件中取配置来造一个Database的实例出来
self.__instance = object.__new__(self) # 产生对象
self.__init__(self.__instance, config.HOST, config.PORT) # 初始化对象
def __call__(self, *args, **kwargs): #Database(...)时触发
if args or kwargs: # args或kwargs内有值
obj=object.__new__(self)
self.__init__(obj,*args,**kwargs)
return obj
return self.__instance
class Database(metaclass=SingletonMeta):
def __init__(self,host,port):
self.host=host
self.port=port
obj1=Database() # 没有传值则默认从配置文件中读配置来实例化,所有的实例应该指向一个内存地址
obj2=Database()
obj3=Database()
print(obj1 is obj2 is obj3)
obj4=Database('1.1.1.4',3307)
方式三:定义一个装饰器实现单例模式
import config
def singleton(cls): #cls=Database
_instance=cls(config.HOST,config.PORT)
def wrapper(*args,**kwargs):
if args or kwargs:
obj=cls(*args,**kwargs)
return obj
return _instance
return wrapper
@singleton # Database=singleton(Database)
class Database:
def __init__(self,host,port):
self.host=host
self.port=port
obj1=Database()
obj2=Database()
obj3=Database()
print(obj1 is obj2 is obj3) #True
obj4=Database('1.1.1.3',3307)
obj5=Database('1.1.1.4',3308)
print(obj3 is obj4) #False
参考来源:https://zhuanlan.zhihu.com/p/109336845