• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

Python从使用线程到使用async/await的深入讲解

python 搞代码 4年前 (2022-01-07) 24次浏览 已收录 0个评论

Python在3.5版本中引入了关于协程的语法糖async和await,所以下面这篇文章主要给大家介绍了关于Python从使用线程到使用async/await的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下

前言

为了简化并更好地标识异步IO,从Python 3.5开始引入了新的语法async和await,可以让coroutine的代码更简洁易读。

请注意,async和await是针对coroutine的新语法,要使用新的语法,只需要做两步简单的替换:

  • 把@asyncio.rotoutine替换为async;
  • 把yield from替换为await。

async/await 是一种异步变成方法,还有两种你可能听过,

     1. 回调

     2. Promise

(写过 JavaScript 的肯定很熟悉了)

异步意味着任务不会阻塞,比如,如果我要下载一个比较忙的网络资源,我的程序不需要一直等待下载完成,它可以在等待下载时继续做其他事情。这与并行执行多个操作不同。以下伪代码比较容易理解:

 # 慢方法 page = get_page_sync('some_page') # 会阻塞整个程序的运行 print(page)

有两种方法可以改善上述的情况

(一)首先,让我们试试使用线程。通过使用线程,我们可以将 get_page_sync 调用放到单独的线程去执行,这样主线程 就可以继续执行其他操作。

 # 将慢方法放到单独的线程执行 t = threading.thread( target = get_page_sync('some_page',args=('some_page',)) ) t.run() # 在线程运行时执行其他操作 do_something_else() # 等待线程完执行成 t.join()

线程有几个优缺点,主要的缺点是:

     1. 必须在改变共享数据前锁定共享数据

     2. 只能通过传递给主线程消息来处理线程内的异常

(二)现在我们试试第二种中的 async/await,Python3.5 开始支持的 async/await 方式,与第一种(线程)之间的主要区别在于,后者是操作系统内核执行上下文切换,而前者中我们自己控制。(上下文切换即,当多个线程正在运行时,内核可能停止当前进程,使其进入休眠状态,并选择不同的线程继续执行。这被称作抢占式多任务处理【Preemption】)

当我们自己控制时,它被称作非抢占式或合作型多任务式,因为是我们自己处理上下文切换,所以我们需要一个调度程序,也叫做『事件循环』。此事件循环只循环遍历等待中的调度,并运行它的所有事件。每当我们产生操作时,当前任务会被添加到队列中,且第一个任务(优先级而非顺序)从队列中弹出并开始执行。例如,可以通过以下方式更改上述伪代码:

 async def print_page(): page = await get_page_sync('some_page') print(page)

当我们触发上面的语句时,get_page_async 方法将非阻塞的获取 some_page 还有 yield 句柄,这意味着我们的 print_page 函数将控制时间循环 ,并且时间循环可以继续执行其他曹组,知道我们得到返回的响应。

我们先将我们的线程代码改造成这种语法。我们将使用 asyncio(Python 自带的时间循环库),并使用 aiohttp 包来执行异步 http 请求。

我们将会创建一个名为 main 函数,它将成为我们异步代码的入口。然后我们创建一个时间循环和一个「未来对象」。这个未来对象是对异步函数的抽象,它存储了一些基本的属性,比如它当前的状态(就像 Promise 一样) 。然后我们将告诉我们的时间循环继续运行,知道这个「未来」完成。

 loop = asyncio.get_event_loop() future = asyncio.ensure_future(main()) loop.run_until_complete(future)

在我们的 main 方法中,我们将创建另一个未来任务列表,每个任务负责从某网站下载不同的桐乡。我们这样做是因为每次下载都会发起网络请求,在网络请求时,我们可以运行另一端代码。创建任务列表后,我们可以通过调用等待整个列表执行完成 asyncio.gather ,这就是它的实现:

 async def main(): tasks = [] async with aiohttp.ClientSession() as session: for img in img_list: task = asyncio.ensure_future(download_img(img, session)) task.append(task) await asyncio.gather(*tasks)

(这段代码来的有点猛了)

最后一个我们要改的方法就是 download_img 了,我们仅仅需要替换 requests.get 调用为异步:

 i = 1 async def download_img(img, session): global i, bar # 获取文件后缀 file_ext = get_extention(img.link) # 拼接文件名 file_name = img.id + file_ext resp = await session.get(img.link) with open(file_name, 'wb') as f: async for chunk in resp.content.iter_chunked(1024): f.write(chunk) bar.update(i) i += 1

要注意的一点是在更新 i 的时候不需要先锁住它,这是因为我们前面说过,没有代码是同时执行的,所以永远不可能出现竞态条件。

因为没有锁或者线程的开销,异步版本可能还会比多线程版本快一些。

这是完整代码:

 #! /usr/bin/env python import os import re import sys import aiohttp import asyncio import async_timeout import progressbar from imgurpython import ImgurClient regex = re.compile(r'\.(\w+)$') def get_extension(link): ext = regex.search(link).group() return ext i = 1 async def download_img(img, session)<strong style="color:transparent">来源gao@daima#com搞(%代@#码@网</strong>: global i, bar # get the file extension file_ext = get_extension(img.link) # create unique name by combining file id with its extension file_name = img.id + file_ext resp = await session.get(img.link) with open(file_name, 'wb') as f: async for chunk in resp.content.iter_chunked(1024): f.write(chunk) bar.update(i) i += 1 try: album_id = sys.argv[1] except IndexError: raise Exception('Please specify an album id') client_id = os.getenv('IMGUR_CLIENT_ID') client_secret = os.getenv('IMGUR_CLIENT_SECRET') client = ImgurClient(client_id, client_secret) img_lst = client.get_album_images(album_id) bar = progressbar.ProgressBar(max_value=len(img_lst)) async def main(): tasks = [] async with aiohttp.ClientSession() as session: for img in img_lst: task = asyncio.ensure_future(download_img(img, session)) tasks.append(task) await asyncio.gather(*tasks) loop = asyncio.get_event_loop() future = asyncio.ensure_future(main()) loop.run_until_complete(future)

原文:https://medium.com/@exqu17/python-bits-moving-from-threads-to-async-await-741ec5124cdc

作者:https://medium.com/@exqu17?source=post_header_lockup

总结

以上就是Python从使用线程到使用async/await的深入讲解的详细内容,更多请关注gaodaima搞代码网其它相关文章!


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Python从使用线程到使用async/await的深入讲解

喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址