如果你已经决定要理解 Python 的异步部分,欢迎来到我们的“Asyncio How-to ”。哪怕连异动范式的存在都不知道的情况下,你也可以成功地使用 Python。但是,如果你对底层运行模式感兴趣的话,asyncio 绝对值得查看。
如果你已经决定要理解 Python 的异步部分,欢迎来到我们的“Asyncio How-to ”。
注:哪怕连异动范式的存在都不知道的情况下,你也可以成功地使用 Python。但是,如果你对底层运行模式感兴趣的话,asyncio 绝对值得查看。
异步是怎么一回事?
在传统的顺序编程中, 所有发送给解释器的指令会一条条被执行。此类代码的输出容易显现和预测。 但是…
譬如说你有一个脚本向3个不同服务器请求数据。 有时,谁知什么原因,发送给其中一个服务器的请求可能意外地执行了很长时间。想象一下从第二个服务器获取数据用了10秒钟。在你等待的时候,整个脚本实际上什么也没干。如果你可以写一个脚本可以不去等待第二个请求而是仅仅跳过它,然后开始执行第三个请求,然后回到第二个请求,执行之前离开的位置会怎么样呢。就是这样。你通过切换任务最小化了空转时间。尽管如此,当你需要一个几乎没有I/O的简单脚本时,你不想用异步代码。
还有一件重要的事情要提,所有代码在一个线程中运行。所以如果你想让程序的一部分在后台执行同时干一些其他事情,那是不可能的。
准备开始
这是 asyncio 主概念最基本的定义:
- 协程 — 消费数据的生成器,但是不生成数据。Python 2.5 介绍了一种新的语法让发送数据到生成器成为可能。我推荐查阅David Beazley “A Curious Course on Coroutines and Concurrency” 关于协程的详细介绍。
- 任务 — 协程调度器。如果你观察下面的代码,你会发现它只是让 event_loop 尽快调用它的_step ,同时 _step 只是调用协程的下一步。
- classTask(futures.Future):
- def__init__(self,coro,loop=None):
- super().__init__(loop=loop)
- ...
- self._loop.call_soon(self._step)
- def_step(self):
- ...
- try:
- ...
- result=next(self._coro)
- exceptStopIterationasexc:
- self.set_result(exc.value)
- exceptBaseExceptionasexc:
- self.set_exception(exc)
- raise
- else:
- ...
- self._loop.call_soon(self._step)
- 事件循环 — 把它想成 asyncio 的中心执行器。
现在我们看一下所有这些如何融为一体。正如我之前提到的,异步代码在一个线程中运行。
从上图可知:
1.消息循环是在线程中执行
2.从队列中取得任务
3.每个任务在协程中执行下一步动作
4.如果在一个协程中调用另一个协程(await <coroutine_name>),会触发上下文切换,挂起当前协程,并保存现场环境(变量,状态),然后载入被调用协程
5.如果协程的执行到阻塞部分(阻塞I/O,Sleep),当前协程会挂起,并将控制权返回到线程的消息循环中,然后消息循环继续从队列中执行下一个任务...以此类推
6.队列中的所有任务执行完毕后,消息循环返回***个任务
异步和同步的代码对比
现在我们实际验证异步模式的切实有效,我会比较两段 python 脚本,这两个脚本除了sleep 方法外,其余部分完全相同。在***个脚本里,我会用标准的 time.sleep 方法,在第二个脚本里使用 asyncio.sleep 的异步方法。
这里使用 Sleep 是因为它是一个用来展示异步方法如何操作 I/O 的最简单办法。
使用同步 sleep 方法的代码:
- importasyncio
- importtime
- fromdatetimeimportdatetime
- asyncdefcustom_sleep():
- print('SLEEP',datetime.now())
- time.sleep(1)
- asyncdeffactorial(name,number):
- f=1
- foriinrange(2,number+1):
- print('Task{}:Computefactorial({})'.format(name,i))
- awaitcustom_sleep()
- f*=i
- print('Task{}:factorial({})is{}\n'.format(name,number,f))
- start=time.time()
- loop=asyncio.get_event_loop()
- tasks=[
- asyncio.ensure_future(factorial("A",3)),
- asyncio.ensure_future(factorial("B",4)),
- ]
- loop.run_until_complete(asyncio.wait(tasks))
- loop.close()
- end=time.time()
- print("Totaltime:{}".format(end-start))
脚本输出:
- TaskA:Computefactorial(2)
- SLEEP2017-04-0613:39:56.207479
- TaskA:Computefactorial(3)
- SLEEP2017-04-0613:39:57.210128
- TaskA:factorial(3)is6
- TaskB:Computefactorial(2)
- SLEEP2017-04-0613:39:58.210778
- TaskB:Computefactorial(3)
- SLEEP2017-04-0613:39:59.212510
- TaskB:Computefactorial(4)
- SLEEP2017-04-0613:40:00.217308
- TaskB:factorial(4)is24
- Totaltime:5.016386032104492
使用异步 Sleep 的代码:
- importasyncio
- importtime
- fromdatetimeimportdatetime
- asyncdefcustom_sleep():
- print('SLEEP{}\n'.format(datetime.now()))
- awaitasyncio.sleep(1)
- asyncdeffactorial(name,number):
- f=1
- foriinrange(2,number+1):
- print('Task{}:Computefactorial({})'.format(name,i))
- awaitcustom_sleep()
- f*=i
- print('Task{}:factorial({})is{}\n'.format(name,number,f))
- start=time.time()
- loop=asyncio.get_event_loop()
- tasks=[
- asyncio.ensure_future(factorial("A",3)),
- asyncio.ensure_future(factorial("B",4)),
- ]
- loop.run_until_complete(asyncio.wait(tasks))
- loop.close()
- end=time.time()
- print("Totaltime:{}".format(end-start))
脚本输出:
- TaskA:Computefactorial(2)
- SLEEP2017-04-0613:44:40.648665
- TaskB:Computefactorial(2)
- SLEEP2017-04-0613:44:40.648859
- TaskA:Computefactorial(3)
- SLEEP2017-04-0613:44:41.649564
- TaskB:Computefactorial(3)
- SLEEP2017-04-0613:44:41.649943
- TaskA:factorial(3)is6
- TaskB:Computefactorial(4)
- SLEEP2017-04-0613:44:42.651755
- TaskB:factorial(4)is24
- Totaltime:3.008226156234741
从输出可以看到,异步模式的代码执行速度快了大概两秒。当使用异步模式的时候(每次调用 await asyncio.sleep(1) ),进程控制权会返回到主程序的消息循环里,并开始运行队列的其他任务(任务A或者任务B)。
当使用标准的 sleep方法时,当前线程会挂起等待。什么也不会做。实际上,标准的 sleep 过程中,当前线程也会返回一个 python 的解释器,可以操作现有的其他线程,但这是另一个话题了。
推荐使用异步模式编程的几个理由
很多公司的产品都广泛的使用了异步模式,如 Facebook 旗下著名的 React Native 和 RocksDB 。像 Twitter 每天可以承载 50 亿的用户访问,靠的也是异步模式编程。所以说,通过代码重构,或者改变模式方法,就能让系统工作的更快,为什么不去试一下呢?
©本文为清一色官方代发,观点仅代表作者本人,与清一色无关。清一色对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。本文不作为投资理财建议,请读者仅作参考,并请自行承担全部责任。文中部分文字/图片/视频/音频等来源于网络,如侵犯到著作权人的权利,请与我们联系(微信/QQ:1074760229)。转载请注明出处:清一色财经