百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

解锁Python并发编程:多线程和多进程的神秘面纱揭晓

moboyou 2025-06-07 16:56 65 浏览

欢迎来到我们的系列博客《Python全景系列》!在这个系列中,我们将带领你从Python的基础知识开始,一步步深入到高级话题,帮助你掌握这门强大而灵活的编程语法。无论你是编程新手,还是有一定基础的开发者,这个系列都将提供你需要的知识和技能。

这是本系列的第五篇,我们将深入探讨Python中的并发编程,特别关注多线程和多进程的应用。我们将先从基本概念开始,然后通过详细举例探讨每一种机制,最后分享一些实战经验以及一种优雅的编程技巧。

第一部分:多线程介绍

线程是操作系统中最小的执行单元。在单个程序或进程内,可以并发运行多个线程,共享进程的资源,如内存和文件描述符。

1.1 Python中的多线程

Python支持多线程编程,并提供了threading模块作为支持。这个模块提供了Thread类,我们可以通过创建其实例并向其传递函数来创建新线程。当然,你也可以通过继承Thread类并重写run()方法来创建自定义线程。下面是一个多线程编程的例子:

import threading

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 创建线程
t1 = threading.Thread(target=print_numbers)
t2 = threading.Thread(target=print_letters)

# 启动线程
t1.start()
t2.start()

# 等待线程结束
t1.join()
t2.join()

在上面的例子中,我们定义了两个函数:一个打印数字,另一个打印字母。然后我们创建了两个线程,每个线程的目标是执行这些函数。start()方法用于启动线程,而join()方法用于等待线程完成。

1.2 多线程的实际应用

尽管Python的多线程因为全局解释器锁(GIL)的存在,并不能实现真正的并行,但是它们在I/O密集型任务中仍然很有用。GIL是CPython解释器的一个互斥锁,保证在任何时刻只有一个线程在执行。这意味着在CPU密集型任务中,多线程可能不是最佳选择,因为它们无法充分利用多核CPU。

然而,在I/O密集型任务中,多线程能够提高程序性能。例如,如果一个程序需要从多个源下载文件,那么使用多线程可以使得当一个线程等待网络响应时,其他线程可以继续下载其他文件。这样,程序可以在同一时间从多个源下载文件,大大提高了效率。

第二部分:多进程介绍

进程是操作系统中独立的执行实体,每个进程都有自己的内存空间、文件描述符等资源。与线程不同,进程之间的资源

并不共享,每个进程都有自己独立的资源。

2.1 Python中的多进程

Python通过multiprocessing模块提供了多进程支持。类似于多线程,我们可以通过创建Process类的实例并向其传递函数来创建新进程。我们也可以通过继承Process类并重写run()方法来创建自定义进程。

以下是一个简单的多进程编程的例子:

import multiprocessing

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 创建进程
p1 = multiprocessing.Process(target=print_numbers)
p2 = multiprocessing.Process(target=print_letters)

# 启动进程
p1.start()
p2.start()

# 等待进程结束
p1.join()
p2.join()

这个例子和前面的多线程例子类似,不同的是这里我们创建的是两个进程,而不是线程。

2.2 多进程的实际应用

多进程可以实现真正的并行,使得Python程序可以利用多核CPU。因此,对于CPU密集型任务,多进程通常比多线程更有优势。另一方面,多进程的开销比多线程大,而且进程间的通信和同步也比线程间的更为复杂。因此,对于I/O密集型任务,或者需要频繁通信的任务,多线程可能会是更好的选择。

第三部分:优化并发编程的技巧

在Python中,concurrent.futures模块为多线程和多进程编程提供了高级接口,可以让我们更加简洁地编写代码。

这个模块提供了ThreadPoolExecutor和ProcessPoolExecutor两个类,它们分别用于创建线程池和进程池。这两个类都实现了相同的接口,你可以使用submit()方法提交任务,然后使用as_completed()函数等待任务完成。

下面是一个使用concurrent.futures模块的示例:

import concurrent.futures

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 使用线程池
with concurrent.futures.ThreadPoolExecutor() as executor:
    future1 = executor.submit(print_numbers)
    future2 = executor.submit(print_letters)
    for future in concurrent.futures.as_completed([future1, future2]):
        pass

# 使用进程池
with concurrent.futures.ProcessPoolExecutor() as executor:
    future1 = executor.submit(print_numbers)
    future2 = executor.submit(print_letters)
    for future in concurrent.futures.as_completed([future1, future2]):
        pass
                ```
在上面的例子中,我们创建了线程池和进程池,然后向它们提交任务。可以看到,使用`concurrent.futures`模块,我们的代码更加简洁,易读性和可维护性也有所提高。

# 总结
Python的多线程和多进程都是非常强大的工具,可以帮助我们编写出更高效的程序。然而,它们也各有优缺点,需要我们根据具体的任务和需求来选择。同时,Python还提供了`concurrent.futures`模块,可以使我们的并发编程变得更加简单和高效。

我们希望本文能帮助你更好地理解和使用Python的多线程和多进程。如果你有任何疑问或者建议,欢迎在评论区留言。

**【第一时间获得Python全视角更新信息,请关注本人微信公众号: Python全视角】**

相关推荐

python新手学习常见数据类型——数字

Python支持三种不同的数值类型:整型(int)、浮点型(float)、复数(complex)创建数字:a=1b=2.7c=8+4j删除数字:a=1b=2.7c=8+4...

只用一个套路公式,给 Excel 中一列人员设置随机出场顺序

很多同学会觉得Excel单个案例讲解有些碎片化,初学者未必能完全理解和掌握。不少同学都希望有一套完整的图文教学,从最基础的概念开始,一步步由简入繁、从入门到精通,系统化地讲解Excel的各个知...

Excel神技 TIME函数:3秒搞定时间拼接!职场人必学的效率秘籍

你是否经常需要在Excel中手动输入时间,或者从不同单元格拼接时、分、秒?今天我要揭秘一个超实用的Excel函数——TIME函数,它能让你3秒内生成标准时间格式,彻底告别繁琐操作!一、TIME函数基础...

销售算错数被批?97 Excel 数字函数救场,3 步搞定复杂计算

销售部小张被老板当着全部门骂。上季度销售额汇总,他把38652.78算成36852.78,差了1800块。财务对账时发现,整个部门的提成表都得重算。"连个数都算不对,还做什么销售?&...

如何使用Minitab 1分钟生成所需要的SPC数据

打开Minitab,“计算”-“随机数据”-“正太”,因为不好截图,使用的是拍照记录的方式.再要生产的行数中,填写125,可以按照要求,有些客户要求的是100个数据,就可以填写100...

验证码,除了 12306,我还没有服过谁

为了防止暴力注册或爬虫爬取等机器请求,需要验证操作者是人还是机器,便有了验证码这个设计。本文作者主要介绍了如何使用Axure来设计一个动态的图形验证码,一起来学习一下吧。在软件设计中,为了防止暴力...

零基础也能学会的9个Excel函数,小白进阶必备

今天给大家分享一些常用的函数公式,可以有效地解决Excel中办公所需,0基础也可以轻松学会。建议收藏,在需要的时候可以直接套用函数。1、计算排名根据总和,计算学生成绩排名。函数公式=RANK(E2,$...

[office] excel表格数值如何设置_excel表格怎样设置数值

excel表格数值如何设置  因为电子表格应用程序是用来处理数值数据的,所以数值格式可能是工作表中最关键的部分,格式化数值数据的方式由用户决定,但在每个工作簿的工作表之间应使用一致的处理数字的方法。...

Excel最常用的5个函数!会用最后一个才是高手

是不是在处理Excel数据时,面对繁琐的操作烦恼不已?手动操作不仅耗时费力,还容易出错。别担心,表姐这就为你揭秘Excel中几个超实用的函数,让数据处理变得轻松高效!表姐整理了552页《Office从...

新手必会的53个Excel函数_惊呆小伙伴的全套excel函数技能

(新手入门+进阶+新函数)一、新手入门级(24个)1、Sum函数:求和=Sum(区域)2、Average函数:求平均值=Average(区域)3、Count函数:数字个数=Count(区域)4、Cou...

打工人私藏的4个Excel函数秘籍,效率提升3.7%

小伙伴们好啊,今天咱们分享几个常用函数公式的典型应用。合并内容如下图,希望将B列的姓名,按照不同部门合并到一个单元格里。=TEXTJOIN(",",1,IF(A$2:A$15=D2,B...

Excel偷偷更新的8个函数!原来高手都在用这些隐藏技能

领导突然要销售数据,你手忙脚乱筛选到眼花...同事3分钟搞定的报表,你折腾半小时还在填充公式...明明用了VLOOKUP,却总显示#N/A错误...别慌!今天教你的8个动态数组函数,就像给Excel装...

Excel表格随机函数怎么用?讲解三种随机函数在不同场景的应用

excel随机函数,其特点是能够生成一组随机数字,根据不同需求,还能批量生成小数位和整数,及指定行数和列数,或指定区间范围内的数字。这里根据需求,作者设置了三个问题,第1个是随机生成0至1之间的数字...

单纯随机抽样该如何进行?_单纯随机抽样的适用范围及注意事项

在数据分析中,抽样是指从全部数据中选择部分数据进行分析,以发掘更大规模数据集中的有用信息。在收集数据过程中,绝大多数情况下,并不采取普查的方式获取总体中所有样本的数据信息,而是以各类抽样方法抽取其中若...

随机函数在Excel中的应用_随机函数在excel中的应用实例

【分享成果,随喜正能量】职场,如果你没有价值,那么你随时可能被取代;如果你的价值不如别人,那么社会也不会惯你,你将被无情地淘汰掉。不管什么时候,你一定要学会构建自己的价值。每个人都应该思考这个问题:我...