• 技术文章 >Python技术 >Python高级

    深究Python中的asyncio库-线程并发函数

    PythonPython2019-06-04 11:06:23原创4815
    Asyncio ——gather vs wait

    在Asyncio中不止可以多次使用asyncio.gather,还有另外一个用法是asyncio.wait,他们都可以让多个协程并发执行。

    那为什么提供2个方法呢?他们有什么区别,适用场景是怎么样的呢?我们先看2个协程的例子:

    async def a():
        print('Suspending a')
        await asyncio.sleep(3)
        print('Resuming a')
        return 'A'
    async def b():
        print('Suspending b')
        await asyncio.sleep(1)
        print('Resuming b')
        return 'B'

    在IPython里面用gather执行一下:

    In : return_value_a, return_value_b = await asyncio.gather(a(), b())
    Suspending a
    Suspending b
    Resuming b
    Resuming a
    In : return_value_a, return_value_b
    Out: ('A', 'B')

    Ok,asyncio.gather方法的名字说明了它的用途,gather的意思是「搜集」,也就是能够收集协程的结果,而且要注意,它会按输入协程的顺序保存的对应协程的执行结果。

    接着我们说asyncio.await,先执行一下:

    In : done, pending = await asyncio.wait([a(), b()])
    Suspending b
    Suspending a
    Resuming b
    Resuming a
    In : done
    Out:
    {<Task finished coro=<a() done, defined at <ipython-input-5-5ee142734d16>:1> result='A'>,
     <Task finished coro=<b() done, defined at <ipython-input-5-5ee142734d16>:8> result='B'>}
    In : pending
    Out: set()
    In : task = list(done)[0]
    In : task
    Out: <Task finished coro=<b() done, defined at <ipython-input-5-5ee142734d16>:8> result='B'>
    In : task.result()
    Out: 'B'

    asyncio.wait的返回值有2项,第一项表示完成的任务列表(done),第二项表示等待(Future)完成的任务列表(pending),每个任务都是一个Task实例,由于这2个任务都已经完成,所以可以执行task.result()获得协程返回值。

    Ok, 说到这里,总结下它俩的区别的第一层区别:

    asyncio.gather封装的Task全程黑盒,只告诉你协程结果。

    asyncio.wait会返回封装的Task(包含已完成和挂起的任务),如果你关注协程执行结果你需要从对应Task实例里面用result方法自己拿。

    为什么说「第一层区别」,asyncio.wait看名字可以理解为「等待」,所以返回值的第二项是pending列表,但是看上面的例子,pending是空集合,那么在什么情况下,pending里面不为空呢?这就是第二层区别:asyncio.wait支持选择返回的时机。

    asyncio.wait支持一个接收参数return_when,在默认情况下,asyncio.wait会等待全部任务完成(return_when='ALL_COMPLETED'),它还支持FIRST_COMPLETED(第一个协程完成就返回)和FIRST_EXCEPTION(出现第一个异常就返回):

    In : done, pending = await asyncio.wait([a(), b()], return_when=asyncio.tasks.FIRST_COMPLETED)
    Suspending a
    Suspending b
    Resuming b
    In : done
    Out: {<Task finished coro=<b() done, defined at <ipython-input-5-5ee142734d16>:8> result='B'>}
    In : pending
    Out: {<Task pending coro=<a() running at <ipython-input-5-5ee142734d16>:3> wait_for=<Future pending cb=[<TaskWakeupMethWrapper object at 0x108065e58>()]>>}

    看到了吧,这次只有协程b完成了,协程a还是pending状态。

    在大部分情况下,用asyncio.gather是足够的,如果你有特殊需求,可以选择asyncio.wait,举2个例子:

    需要拿到封装好的Task,以便取消或者添加成功回调等

    业务上需要FIRST_COMPLETED/FIRST_EXCEPTION即返回的

    asyncio.create_task vs loop.create_task vs asyncio.ensure_future

    创建一个Task一共有3种方法,如这小节的标题。在上篇文章我说过,从Python 3.7开始可以统一的使用更高阶的asyncio.create_task。其实asyncio.create_task就是用的loop.create_task:

    def create_task(coro):
        loop = events.get_running_loop()
        return loop.create_task(coro)

    loop.create_task接受的参数需要是一个协程,但是asyncio.ensure_future除了接受协程,还可以是Future对象或者awaitable对象:

    如果参数是协程,其实底层还是用的loop.create_task,返回Task对象

    如果是Future对象会直接返回

    如果是一个awaitable对象会await这个对象的__await__方法,再执行一次ensure_future,最后返回Task或者Future

    所以就像ensure_future名字说的,确保这个是一个Future对象:Task是Future 子类,前面说过一般情况下开发者不需要自己创建Future

    其实前面说的asyncio.wait和asyncio.gather里面都用了asyncio.ensure_future。对于绝大多数场景要并发执行的是协程,所以直接用asyncio.create_task就足够了~

    下一节:深究Python中的asyncio库-shield函数

    专题推荐:python
    上一篇:Python使用Pillow添加图片水印 下一篇:深究Python中的asyncio库-shield函数

    相关文章推荐

    • 2019 Python 计算生态五月推荐榜• Python中的文件读写-理论知识• Python使用Pillow添加图片水印

    全部评论我要评论

    © 2021 Python学习网 苏ICP备2021003149号-1

  • 取消发布评论
  • 

    Python学习网