1. 理解Python并发编程的基础概念在Python中实现并发编程主要有两种方式多进程和多线程。这两种技术都能让程序同时处理多个任务但它们的底层机制和适用场景完全不同。先打个比方如果把程序比作一家餐厅那么多线程就像是一个服务员同时服务多桌客人快速切换而多进程则是直接雇佣多个服务员同时工作。进程是操作系统分配资源的基本单位每个进程都有独立的内存空间。比如我们同时打开浏览器和音乐播放器这就是两个不同的进程。线程则是进程内的执行单元一个进程可以包含多个线程这些线程共享进程的内存资源。用Python代码创建一个简单进程和线程是这样的# 多进程示例 from multiprocessing import Process def process_task(): print(这是进程任务) if __name__ __main__: p Process(targetprocess_task) p.start() p.join() # 多线程示例 import threading def thread_task(): print(这是线程任务) t threading.Thread(targetthread_task) t.start() t.join()Python中有一个特殊的机制叫GIL全局解释器锁它规定任何时候只有一个线程可以执行Python字节码。这就好比餐厅厨房只有一个灶台即使有多个服务员点单最终做菜的还是只有一个厨师。这个设计简化了Python内存管理但也导致了多线程在CPU密集型任务中的性能瓶颈。2. CPU密集型任务的多进程解决方案CPU密集型任务是指需要大量计算、消耗CPU资源的任务比如科学计算、图像处理、数据加密等。这类任务的特点是计算量大、等待少。由于GIL的存在多线程在处理CPU密集型任务时实际上是在串行执行这时候多进程就是更好的选择。来看一个计算斐波那契数列的例子from multiprocessing import Pool import time def fib(n): if n 1: return n return fib(n-1) fib(n-2) if __name__ __main__: start time.time() with Pool(4) as p: # 使用4个进程 results p.map(fib, [35]*4) # 计算4次fib(35) print(f多进程耗时: {time.time()-start:.2f}秒) # 对比单进程 start time.time() [fib(35) for _ in range(4)] print(f单进程耗时: {time.time()-start:.2f}秒)在我的测试中多进程版本耗时约5秒而单进程版本耗时约20秒性能提升了4倍。这是因为每个进程都有自己的Python解释器和内存空间避开了GIL的限制真正利用了多核CPU。使用多进程时需要注意几点进程创建开销比线程大不宜创建过多进程通常建议不超过CPU核心数进程间通信需要使用Queue、Pipe等特殊机制使用Pool进程池可以复用进程减少创建销毁的开销3. IO密集型任务的多线程优化IO密集型任务是指需要大量等待输入输出I/O的任务比如网络请求、文件读写、数据库查询等。这类任务的特点是大部分时间在等待CPU利用率不高。这时候使用多线程就非常合适因为当一个线程在等待IO时其他线程可以继续执行。模拟一个下载网页内容的例子import threading import requests import time def download(url): response requests.get(url) print(f{url} 下载完成长度: {len(response.text)}) urls [ https://www.python.org, https://www.baidu.com, https://www.qq.com, https://www.jd.com ] # 多线程版本 start time.time() threads [] for url in urls: t threading.Thread(targetdownload, args(url,)) t.start() threads.append(t) for t in threads: t.join() print(f多线程耗时: {time.time()-start:.2f}秒) # 单线程版本对比 start time.time() for url in urls: download(url) print(f单线程耗时: {time.time()-start:.2f}秒)在我的测试中多线程版本耗时约1.5秒而单线程版本耗时约4秒。这是因为网络请求大部分时间在等待服务器响应多线程可以同时发起多个请求充分利用了等待时间。多线程编程需要注意线程间共享内存需要使用Lock等机制避免竞态条件线程切换也有一定开销线程数不是越多越好可以使用ThreadPoolExecutor来管理线程池4. 实战中的选择策略与性能调优在实际项目中我们常常需要根据任务类型选择合适的并发模型。这里有一个简单的决策流程如果是纯CPU密集型任务 → 选择多进程如果是纯IO密集型任务 → 选择多线程如果是混合型任务 → 可以考虑进程线程的组合对于更复杂的场景比如Web服务器通常会采用这样的架构使用多进程充分利用多核CPU每个进程内使用多线程处理并发请求使用异步IO进一步提高IO效率性能调优的一些实用技巧监控CPU和IO使用率找出瓶颈所在使用concurrent.futures模块的高级接口from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor # 自动选择线程池/进程池 with ThreadPoolExecutor() as executor: results list(executor.map(func, args))共享数据的正确处理方法# 多线程安全的数据结构 from queue import Queue import threading shared_queue Queue() lock threading.Lock() # 多进程共享数据 from multiprocessing import Manager manager Manager() shared_dict manager.dict()避免常见陷阱不要在多进程中共享大量数据通信开销大小心死锁按固定顺序获取锁使用daemon线程处理后台任务我曾经在一个数据处理项目中犯过一个错误用多线程处理CPU密集的数值计算结果性能还不如单线程。后来改用多进程性能提升了8倍8核CPU。这个教训让我深刻理解了不同并发模型的适用场景。
