Python 协程技术在高并发场景中的应用

随着 I/O 密集型任务（如网络请求、文件读写）的增多，传统多线程模型面临性能瓶颈。Python 提供了多种协程机制，其中 gevent 凭借其轻量级协程与自动调度能力，成为高性能服务开发的重要工具。

核心原理：协程与事件循环

Python 的 asyncio 框架通过事件循环管理异步任务，仅能调度使用 await 的异步函数。对于普通阻塞调用（如 time.sleep()），它无法主动让出控制权。

import asyncio

async def fetch_data():
    print("Fetching...")
    await asyncio.sleep(1)
    return "Data received"

asyncio.run(fetch_data())

Greenlet：协程的底层实现

greenlet 是一个低层级协程库，允许开发者手动切换函数执行上下文。它不包含任何调度逻辑，仅负责"保存和恢复执行状态"。

from greenlet import greenlet

def worker_a():
    print("Worker A: Start")
    gr_b.switch()
    print("Worker A: End")

def worker_b():
    print("Worker B: Start")
    gr_a.switch()
    print("Worker B: End")

gr_a = greenlet(worker_a)
gr_b = greenlet(worker_b)
gr_a.switch()

Gevent：自动调度的协程框架

gevent 在 greenlet 基础上构建了完整的事件循环系统，通过 monkey.patch_all() 重写标准库中的阻塞操作，使其具备协作式调度能力。

import gevent
from gevent import monkey
monkey.patch_all()

def task(name):
    print(f"{name} started")
    gevent.sleep(0.5)
    print(f"{name} finished")

# 启动多个协程并等待完成
gevent.joinall([
    gevent.spawn(task, "Task-1"),
    gevent.spawn(task, "Task-2")
])

monkey.patch_all() 的工作方式

该方法会替换标准库中常见的阻塞函数（如 socket、time.sleep、threading 等），将其改为可让出控制权的版本。当某个协程执行阻塞操作时，事件循环会自动切换到其他就绪的协程。

注意：此机制仅适用于 Python 层面的阻塞函数，对 C 扩展或 CPU 密集型操作无效。

处理阻塞性操作的正确策略

某些操作（如 pandas.read_excel()、NumPy 计算）由 C 扩展实现，不会触发协程切换。必须借助线程池隔离这些任务。

import pandas as pd
import asyncio
from concurrent.futures import ThreadPoolExecutor

executor = ThreadPoolExecutor(max_workers=4)

async def load_excel_async(file_path):
    loop = asyncio.get_event_loop()
    return await loop.run_in_executor(executor, pd.read_excel, file_path)

async def main():
    df = await load_excel_async("report.xlsx")
    print(f"Loaded {len(df)} rows")

asyncio.run(main())

关键总结

• asyncio 适合纯异步场景，依赖 await 触发调度。
• gevent 通过 patch_all() 实现透明的 IO 调度，提升并发效率。
• C 扩展或计算密集型任务应放入线程池/进程池执行。
• greenlet 是协程的基础单元，gevent 则为其添加了事件驱动与调度能力。
• 合理使用异步与同步边界，避免事件循环被长时间阻塞。