Python的with语句

引言

  with语句是从Python2.5开始引入的一种与异常处理相关的功能。with语句适合用于对资源进行访问的场合,确保不管使用过程中是否发生异常都会执行必要的“清理”操作,释放资源,比如文件使用后的自动关闭、线程中锁的自动获取和释放。

术语

  要使用with语句,首先要明白上下文管理器
  下面是一组与上下文管理器和with语句相关的概念。

  1. 上下文管理协议(Context Management Protocol):包含方法__enter__()__exit__(),支持该协议的对象要实现这两个方法。
  2. 上下文管理器(Context Manager):支持上下文管理协议的对象。这种对象实现了__enter__()__exit__()方法。上下文管理器定义执行with语句时,要建立的运行时上下文,负责执行with语句块上下文中的进入和退出操作。通常使用with语句调用上下文管理器,也可以通过直接调用其方法来使用。
  3. 运行时上下文(runtime context):由上下文管理创建,通过上下文管理器的__enter__()__exit__()方法实现,__enter__()方法在语句体执行之前进入运行时上下文,__exit__()方法在语句体执行完后从运行时上下文退出。with语句支持运行时上下文这一概念。
  4. 上下文表达式(Context Expression):with语句中跟在关键字with之后的表达式。该表达式要返回一个上下文管理器对象。
  5. 语句体(with-body):with语句包裹起来的代码块。在执行语句体之前会调用上下文管理器的__enter__()方法,执行完语句体之后会执行__exit__()方法。

基本语法

  with语句的语法格式如下:

with context_expression [as target(s)]:
    with-body

  这里的context_expression要返回一个上下文管理对象,该对象并不赋值给as子句中的target(s),如果指定了as子句的话,会将上下文管理器的__enter__()方法的返回值赋值给target(s)。target(s)可以是单个变量,或者是元组。

  Python对一些内建对象进行了改进,加入了对上下文管理器的支持,可以用于with语句中,比如文件操作,线程操作等。
  假设要对一个文件进行操作,使用with语句有如下代码:

with open(r'somefileName') as somefile:
    for line in somefile:
        print(line)
        # do something...

使用with语句,不管在处理文件过程中是否发生异常,都能保证with语句执行完毕后关闭了打开的文件句柄。

  如果使用传统的try/finally,则需要使用类似如下代码:

somefile = open(r'somefileName')
try:
    for line in somefile:
        print(line)
        # do something
finally:
    somefile.close()   # close the file handler

工作原理

  with语句如下:

with EXPR [as VAR]:
    BLOCK

  with语句的执行过程如下:

context_manager = context_expression
exit = type(context_manager).__exit__  
value = type(context_manager).__enter__(context_manager)
exc = True   # True 表示正常执行,即便有异常也忽略;False 表示重新抛出异常,需要对异常进行处理
try:
    try:
        target = value  # 如果使用了 as 子句
        with-body     # 执行 with-body
    except:
        # 执行过程中有异常发生
        exc = False
        # 如果 __exit__ 返回 True,则异常被忽略;如果返回 False,则重新抛出异常
        # 由外层代码对异常进行处理
        if not exit(context_manager, *sys.exc_info()):
            raise
finally:
    # 正常退出,或者通过 statement-body 中的 break/continue/return 语句退出
    # 或者忽略异常退出
    if exc:
        exit(context_manager, None, None, None) 
    # 缺省返回 None,None 在布尔上下文中看做是 False

由此可以看出:

  1. 当执行内部的try-except语句时,如果发生异常,会先行去上下文管理器的__exit__()中处理,同时,完成__exit__()自身功能,如释放资源。这样不论是否有异常,__exit__()中对于资源的关闭释放处理,总不会受到影响;
  2. __exit__()预先捕获with-body代码块的异常,因此可以选择如何对异常进行处理;
  3. __exit__()无法处理的异常,会通过语句raise抛出,让外层try语句决定如何处理。

自定义上下文管理器

  实现上下文管理器,就是实现以下两个方法:

context_manager.__enter__()
contextmanager.__exit__(exc_type, exc_val, exc_tb) 
'''
exc_type : 异常类型
exc_val  : 异常值
exc_tb   : 异常traceback
'''

首先,我们写一个上下文管理器的大体框架:

class MyCMP:

    def __init__(self):
        pass
    def __enter__(self):
        pass
    def __exit__(self, exc_type, exc_val, exc_tb):
        pass

接下来,我们首先定义构造函数__init__()

class MyCMP:
    def __init__(self, tag):
        self.tag = tag
        print("[__init__]:%s" % tag)

为了方便测试,我们在构造函数中传入参数tag
然后,我们定义__enter__():

def __enter__(self):
    print("[__enter__]:%s" % self.tag)

然后,我们定义__exit__():

def __exit__(self, exc_type, exc_val, exc_tb):
    print("[__exit__]: %s" % self.tag)

接下来,我们调用类:

with MyCMP("normal"):
    print("with-body")

输出结果为:

接下来,我们看一下抛出异常的情况

with MyCMP("with-exception"):
    print("with-body")
    raise Exception

输出结果为:

从以上的结果,我们可以看出,虽然抛出了异常,但是异常抛出并没有影响上下文管理器完整的执行(执行exit函数)。当然,我们也可以通过改写__exit__()函数,自己处理捕获的异常,然后决定是否将异常抛出(见上一节工作原理)。

# ...
    def __exit__(self, exc_type, exc_val, exc_tb):
        if exc_tb is None:
            print("[__exit__]: %s" % self.tag)
        else:
            print("exc_type :%s" % exc_type )
            print("exc_val  :%s" % exc_val)
            print("exc_tb   :%s" % exc_tb)
            return True    # 系统不要抛出异常!!!!
# ...

输出结果为:

小结

  在这篇文章里,我们了解了什么是上下文管理器,with语法,及其工作原理。后续我们应该学习contextlib模块的使用。

参考链接