GIL(全局解释器锁)是 python 解释器的核心部件,它确保同一时间只有一个线程执行 Python 字节码。虽然 GIL 提供了线程安全性,但它也限制了 Python 在并发编程方面的潜力,因为线程只能串行执行。
为了克服 GIL 的限制,出现了各种技术来规避其锁定并实现并发。这些技术包括:
多线程:
多线程是一种利用多个 CPU 线程来并行执行代码的技术。在 Python 中,使用 threading
模块可以创建和管理线程。然而,GIL 限制了每个线程同时执行 Python 代码的能力。
import threading def task(): # 执行耗时的操作 threads = [] for i in range(4): thread = threading.Thread(target=task) threads.append(thread) thread.start() for thread in threads: thread.join()
这段代码创建 4 个线程,但由于 GIL,它们不能同时执行 task()
函数。
多进程:
多进程是一种利用多个操作系统进程来并行执行代码的技术。在 Python 中,使用 multiprocessing
模块可以创建和管理进程。与线程不同,进程拥有自己的 Python 解释器,因此不受 GIL 的限制。
import multiprocessing def task(): # 执行耗时的操作 processes = [] for i in range(4): process = multiprocessing.Process(target=task) processes.append(process) process.start() for process in processes: process.join()
这段代码创建 4 个进程,并且它们可以在不同的 CPU 内核上同时运行 task()
函数,不会受到 GIL 的限制。
GIL 解除:
GIL 解除工具允许 Python 代码暂时释放 GIL,从而允许其他线程或进程执行 Python 代码。这可以通过使用 concurrent.futures
模块中的 ThreadPoolExecutor
或 ProcessPoolExecutor
实现。
from concurrent.futures import ThreadPoolExecutor def task(): # 执行耗时的操作 with ThreadPoolExecutor(max_workers=4) as executor: executor.submit(task)# 提交任务到线程池
这段代码使用线程池执行 task()
函数,而主线程可以继续执行其他任务。
结论:
虽然 GIL 限制了 Python 的原生并发性,但通过利用多线程、多进程和 GIL 解除技术,开发人员可以规避其锁定并充分利用 Python 的并发潜力。这些技术使 Python 能够执行并行任务,从而提高应用程序的性能和可扩展性。
本站部分资源来源于网络,仅限用于学习和研究目的,请勿用于其他用途。
如有侵权请发送邮件至1943759704@qq.com删除
码农资源网 » GIL 绞刑架的逃生者:并发 Python 的不可能之旅