摘要
定义Descriptor并概述其协议,以及展示如何调用Descriptor。深入学习自定义Descriptor和几个内置的Python Descriptor,包括函数、property、静态方法和类方法。通过纯Python代码等价实现和应用示例来揭示其运行原理。
学习Descriptor不仅可以获得更多的工具集,而且可以更好地体会Python的运行原理及其优雅的设计。
定义和介绍
一般来说,Descriptor是伴随有“绑定行为”的对象属性,其属性访问可以根据Descriptor协议通过方法来控制。方法有__get__()、__set__()和__delete__()。如果在对象中定义了其中任意方法,那么这个对象就称为Descriptor。
对象中属性访问的默认行为就是在对象的字典中get、set或delete相应的属性。例如,a.x的查找顺序是从 a.__dict__[‘x’] 到 type(a).__dict__[‘x’],然后继续在type(a)除元类(metaclass)外的基类中查找。如果要查找的值是定义了任意Descriptor方法的对象,那么Python会调用Descriptor方法来覆盖默认行为。查找的优先级顺序取决于定义了哪些Descriptor方法。
Descriptor是一个强大而通用的协议,是property、方法、静态方法、类方法和super()背后的机制。在Python的内部使用Descriptor来实现了2.2版本中引入的新风格类。Descriptor抽象了底层的c代码,为Python日常编码提供了一个灵活的新工具集。
Descriptor协议
1 2 3 4 5 |
descr.__get__(self, obj, type=None) --> value descr.__set__(self, obj, value) --> None descr.__delete__(self, obj) --> None |
这就是协议的全部。对象只要定义其中任意方法就是Descriptor,就可以覆盖属性查找的默认行为。
同时定义了__get__()和__set__()的对象就叫作Data Descriptor。而只定义了__get__()的Descriptor就被叫做Non-data Descriptor(这种方式就是类方法的典型用法,当然也可能有其他用法)。
Data Descriptor和Non-data Descriptor的不同体现在关于实例字典条目的覆盖和计算顺序上。如果实例字典中包含了与Data Descriptor同名的属性,那么Data Descriptor优先。如果实例字典中包含了与Non-data Descriptor同名的属性,实例字典优先。
(译注:实例字典是指类实例中__dict__。关于优先级的代码示例参考:https://gist.github.com/icejoywoo/0f19fa8575ac664140fc)
同时定义__get__()和__set__()方法,并且__set__()在调用时抛出AttributeError异常,就可以创建一个只读的Data Descriptor。只需要定义一个抛出异常的__set__()方法就足以让该对象成为Data Descriptor。
调用Descriptor
Descriptor可以直接通过方法名来进行调用。例如,d.__get__(obj)。
另外,更常用的方式是通过属性访问来自动地调用Descriptor。例如,obj.d在obj的对象字典中查找d。如果d定义了__get__()方法,那么根据下面列出的优先级规则,就会优先调用d.__get__(obj)。
调用的细节取决于obj是对象还是类。
对于对象来说,其机制是object.__getattribute__()将b.x转换为type(b).__dict__[‘x’].__get__(b, type(b))。其实现的优先级链是:Data Descriptor优先级高于实例变量(instance variables),实例变量优先级高于Non-data Descriptor,而 __getattr__() 的优先级是最低的。完整的c代码实现在Objects/object.c的PyObject_GenericGetAttr()函数中。
对于类来说,其机制是type.__getattribute__()将B.x转换为B.__dict__[‘x’].__get__(None, B)。纯Python的代码实现如下:
1 2 3 4 5 6 7 |
def __getattribute__(self, key): "Emulate type_getattro() in Objects/typeobject.c" "模拟Objects/typeobject.c中的type_getattro()" v = object.__getattribute__(self, key) if hasattr(v, '__get__'): return v.__get__(None, self) return v |
需要记住的重要几点:
- Descriptor是通过__getattribute__()方法来调用的
- 覆写__getattribute__()可以阻止Descriptor的自动调用
- object.__getattribute__()和type.__getattribute__()调用__get__()的方式不同
- Data Descriptor总是覆盖实例字典
- Non-data Descriptor可能会被实例字典覆盖
super()返回的对象也有一个用于调用Descriptor的定制__getattribute__()方法。super(B, obj).m()会搜查obj.__class__.__mro__中的基类A,返回A.__dict__[‘m’].__get__(obj, B)。如果不是Descriptor,m返回也是一样的。如果m不在实例字典中,就还原为通过object.__getattribute__()来搜索。
实现细节在Object/typeobject.c的super_getattro()函数中。Guido的入门教程有纯Python的等价实现。
上面描述了在object、type和super()中隐藏在__getattribute__()方法内部的Descriptor机制。这种机制是可继承的。如果一个类派生自某个对象,或者这个类的元类实现了相似的机制,这个类就可以继承该机制。同样地,类可以通过覆写__getattribute__()来屏蔽Descriptor。
Descriptor示例
下面的代码创建了一个Data Descriptor的类,会在get或set时打印一条信息。覆写__getattribute__()也可以为每个属性加上打印信息。然而,在监控几个选定的属性时Descriptor是很用的:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
class RevealAccess(object): """A data descriptor that sets and returns values normally and prints a message logging their access. Data Descriptor在赋值和取值时打印一条记录访问的信息。 """ def __init__(self, initval=None, name='var'): self.val = initval self.name = name def __get__(self, obj, objtype): print('Retrieving', self.name) return self.val def __set__(self, obj, val): print('Updating', self.name) self.val = val >>> class MyClass(object): x = RevealAccess(10, 'var "x"') y = 5 >>> m = MyClass() >>> m.x Retrieving var "x" 10 >>> m.x = 20 Updating var "x" >>> m.x Retrieving var "x" 20 >>> m.y 5 |
Descriptor协议简单并且提供了令人兴奋的可能性。这几种使用场景是非常普遍的,所以都打包成了单独的函数调用。Property,绑定和未绑定的方法,静态方法和类方法都是基于Descriptor协议的。
属性
调用property()是一种简洁的创建Data Descriptor的方式,会在访问属性时触发函数调用。函数签名如下:
1 |
tyle="font-weight: normal;">定义Descriptor并概述其协议,以及展示如何调用Descriptor。深入学习自定义Descriptor和几个内置的Python Descriptor,包括函数、property、静态方法和类方法。通过纯Python代码等价实现和应用示例来揭示其运行原理。
学习Descriptor不仅可以获得更多的工具集,而且可以更好地体会Python的运行原理及其优雅的设计。 定义和介绍一般来说,Descriptor是伴随有“绑定行为”的对象属性,其属性访问可以根据Descriptor协议通过方法来控制。方法有__get__()、__set__()和__delete__()。如果在对象中定义了其中任意方法,那么这个对象就称为Descriptor。 对象中属性访问的默认行为就是在对象的字典中get、set或delete相应的属性。例如,a.x的查找顺序是从 a.__dict__[‘x’] 到 type(a).__dict__[‘x’],然后继续在type(a)除元类(metaclass)外的基类中查找。如果要查找的值是定义了任意Descriptor方法的对象,那么Python会调用Descriptor方法来覆盖默认行为。查找的优先级顺序取决于定义了哪些Descriptor方法。 Descriptor是一个强大而通用的协议,是property、方法、静态方法、类方法和super()背后的机制。在Python的内部使用Descriptor来实现了2.2版本中引入的新风格类。Descriptor抽象了底层的c代码,为Python日常编码提供了一个灵活的新工具集。 Descriptor协议
这就是协议的全部。对象只要定义其中任意方法就是Descriptor,就可以覆盖属性查找的默认行为。 同时定义了__get__()和__set__()的对象就叫作Data Descriptor。而只定义了__get__()的Descriptor就被叫做Non-data Descriptor(这种方式就是类方法的典型用法,当然也可能有其他用法)。 Data Descriptor和Non-data Descriptor的不同体现在关于实例字典条目的覆盖和计算顺序上。如果实例字典中包含了与Data Descriptor同名的属性,那么Data Descriptor优先。如果实例字典中包含了与Non-data Descriptor同名的属性,实例字典优先。 (译注:实例字典是指类实例中__dict__。关于优先级的代码示例参考:https://gist.github.com/icejoywoo/0f19fa8575ac664140fc) 同时定义__get__()和__set__()方法,并且__set__()在调用时抛出AttributeError异常,就可以创建一个只读的Data Descriptor。只需要定义一个抛出异常的__set__()方法就足以让该对象成为Data Descriptor。 调用Descriptor Descriptor可以直接通过方法名来进行调用。例如,d.__get__(obj)。 另外,更常用的方式是通过属性访问来自动地调用Descriptor。例如,obj.d在obj的对象字典中查找d。如果d定义了__get__()方法,那么根据下面列出的优先级规则,就会优先调用d.__get__(obj)。 调用的细节取决于obj是对象还是类。 对于对象来说,其机制是object.__getattribute__()将b.x转换为type(b).__dict__[‘x’].__get__(b, type(b))。其实现的优先级链是:Data Descriptor优先级高于实例变量(instance variables),实例变量优先级高于Non-data Descriptor,而 __getattr__() 的优先级是最低的。完整的c代码实现在Objects/object.c的PyObject_GenericGetAttr()函数中。 对于类来说,其机制是type.__getattribute__()将B.x转换为B.__dict__[‘x’].__get__(None, B)。纯Python的代码实现如下:
需要记住的重要几点:
super()返回的对象也有一个用于调用Descriptor的定制__getattribute__()方法。super(B, obj).m()会搜查obj.__class__.__mro__中的基类A,返回A.__dict__[‘m’].__get__(obj, B)。如果不是Descriptor,m返回也是一样的。如果m不在实例字典中,就还原为通过object.__getattribute__()来搜索。 实现细节在Object/typeobject.c的super_getattro()函数中。Guido的入门教程有纯Python的等价实现。 上面描述了在object、type和super()中隐藏在__getattribute__()方法内部的Descriptor机制。这种机制是可继承的。如果一个类派生自某个对象,或者这个类的元类实现了相似的机制,这个类就可以继承该机制。同样地,类可以通过覆写__getattribute__()来屏蔽Descriptor。 Descriptor示例下面的代码创建了一个Data Descriptor的类,会在get或set时打印一条信息。覆写__getattribute__()也可以为每个属性加上打印信息。然而,在监控几个选定的属性时Descriptor是很用的:
Descriptor协议简单并且提供了令人兴奋的可能性。这几种使用场景是非常普遍的,所以都打包成了单独的函数调用。Property,绑定和未绑定的方法,静态方法和类方法都是基于Descriptor协议的。 属性调用property()是一种简洁的创建Data Descriptor的方式,会在访问属性时触发函数调用。函数签名如下: |