百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

解锁Python并发编程:多线程和多进程的神秘面纱揭晓

moboyou 2025-06-07 16:56 40 浏览

欢迎来到我们的系列博客《Python全景系列》!在这个系列中,我们将带领你从Python的基础知识开始,一步步深入到高级话题,帮助你掌握这门强大而灵活的编程语法。无论你是编程新手,还是有一定基础的开发者,这个系列都将提供你需要的知识和技能。

这是本系列的第五篇,我们将深入探讨Python中的并发编程,特别关注多线程和多进程的应用。我们将先从基本概念开始,然后通过详细举例探讨每一种机制,最后分享一些实战经验以及一种优雅的编程技巧。

第一部分:多线程介绍

线程是操作系统中最小的执行单元。在单个程序或进程内,可以并发运行多个线程,共享进程的资源,如内存和文件描述符。

1.1 Python中的多线程

Python支持多线程编程,并提供了threading模块作为支持。这个模块提供了Thread类,我们可以通过创建其实例并向其传递函数来创建新线程。当然,你也可以通过继承Thread类并重写run()方法来创建自定义线程。下面是一个多线程编程的例子:

import threading

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 创建线程
t1 = threading.Thread(target=print_numbers)
t2 = threading.Thread(target=print_letters)

# 启动线程
t1.start()
t2.start()

# 等待线程结束
t1.join()
t2.join()

在上面的例子中,我们定义了两个函数:一个打印数字,另一个打印字母。然后我们创建了两个线程,每个线程的目标是执行这些函数。start()方法用于启动线程,而join()方法用于等待线程完成。

1.2 多线程的实际应用

尽管Python的多线程因为全局解释器锁(GIL)的存在,并不能实现真正的并行,但是它们在I/O密集型任务中仍然很有用。GIL是CPython解释器的一个互斥锁,保证在任何时刻只有一个线程在执行。这意味着在CPU密集型任务中,多线程可能不是最佳选择,因为它们无法充分利用多核CPU。

然而,在I/O密集型任务中,多线程能够提高程序性能。例如,如果一个程序需要从多个源下载文件,那么使用多线程可以使得当一个线程等待网络响应时,其他线程可以继续下载其他文件。这样,程序可以在同一时间从多个源下载文件,大大提高了效率。

第二部分:多进程介绍

进程是操作系统中独立的执行实体,每个进程都有自己的内存空间、文件描述符等资源。与线程不同,进程之间的资源

并不共享,每个进程都有自己独立的资源。

2.1 Python中的多进程

Python通过multiprocessing模块提供了多进程支持。类似于多线程,我们可以通过创建Process类的实例并向其传递函数来创建新进程。我们也可以通过继承Process类并重写run()方法来创建自定义进程。

以下是一个简单的多进程编程的例子:

import multiprocessing

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 创建进程
p1 = multiprocessing.Process(target=print_numbers)
p2 = multiprocessing.Process(target=print_letters)

# 启动进程
p1.start()
p2.start()

# 等待进程结束
p1.join()
p2.join()

这个例子和前面的多线程例子类似,不同的是这里我们创建的是两个进程,而不是线程。

2.2 多进程的实际应用

多进程可以实现真正的并行,使得Python程序可以利用多核CPU。因此,对于CPU密集型任务,多进程通常比多线程更有优势。另一方面,多进程的开销比多线程大,而且进程间的通信和同步也比线程间的更为复杂。因此,对于I/O密集型任务,或者需要频繁通信的任务,多线程可能会是更好的选择。

第三部分:优化并发编程的技巧

在Python中,concurrent.futures模块为多线程和多进程编程提供了高级接口,可以让我们更加简洁地编写代码。

这个模块提供了ThreadPoolExecutor和ProcessPoolExecutor两个类,它们分别用于创建线程池和进程池。这两个类都实现了相同的接口,你可以使用submit()方法提交任务,然后使用as_completed()函数等待任务完成。

下面是一个使用concurrent.futures模块的示例:

import concurrent.futures

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 使用线程池
with concurrent.futures.ThreadPoolExecutor() as executor:
    future1 = executor.submit(print_numbers)
    future2 = executor.submit(print_letters)
    for future in concurrent.futures.as_completed([future1, future2]):
        pass

# 使用进程池
with concurrent.futures.ProcessPoolExecutor() as executor:
    future1 = executor.submit(print_numbers)
    future2 = executor.submit(print_letters)
    for future in concurrent.futures.as_completed([future1, future2]):
        pass
                ```
在上面的例子中,我们创建了线程池和进程池,然后向它们提交任务。可以看到,使用`concurrent.futures`模块,我们的代码更加简洁,易读性和可维护性也有所提高。

# 总结
Python的多线程和多进程都是非常强大的工具,可以帮助我们编写出更高效的程序。然而,它们也各有优缺点,需要我们根据具体的任务和需求来选择。同时,Python还提供了`concurrent.futures`模块,可以使我们的并发编程变得更加简单和高效。

我们希望本文能帮助你更好地理解和使用Python的多线程和多进程。如果你有任何疑问或者建议,欢迎在评论区留言。

**【第一时间获得Python全视角更新信息,请关注本人微信公众号: Python全视角】**

相关推荐

运维从头到尾安装日志服务器,看这一篇就够了

一、rsyslog部署1.1)rsyslog介绍Linux的日志记录了用户在系统上一切操作,看日志去分析系统的状态是运维人员必须掌握的基本功。rsyslog日志服务器的优势:1、日志统一,集中式管理...

被MySQL慢日志查询搞废了?3分钟教你快速定位慢查询问题

一条慢查询会造成什么后果?刚开始使用MySQL的开发、初级DBA以为就是简单的查询变慢些,体验稍微有一丢丢影响,殊不知,慢查询的破坏力远不止如此。业务高峰期,这头SQL还没处理完,大量新的查询请求堆...

Linux 查看系统日志 执行日志 安全日志 history 登录日志

修改history记录打开配置文件vim/etc/profile或~/.bash_profile显示执行的用户及其IP添加,将下面内容添加到末尾USER_IP=`who-uami2>/...

Linux系统日志的简单分析(linux系统日志文件有哪些)

为了保证Linux系统正常运行、准确解决遇到的各种各样的系统问题,认真地读取日志文件是系统管理员的一项非常重要的任务。因为日志文件能够详细记录系统每天发生的各种各样的事件。用户可以通过日志文件检查错误...

如何按天切割日志文件(日志切割命令)

简单明了,直接开始,给热爱编程的你我apache修改httpd.conf对以下两行进行调整ErrorLog"|/usr/local/apache/bin/rotatelogs/data/...

Apache 记录请求响应时间日志(apache日志查看)

本文章向大家介绍Apache记录请求响应时间日志,主要包括Apache记录请求响应时间日志使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。官网介绍在A...

Linux系统LOG日志分析与管理(四)——配置Loganalyzer

摘要:Loganalyzer是一款syslog日志和其他网络事件数据的Web前端工具。它提供了对日志的浏览、搜索、基本分析和一些图表报告的功能。其分析所需数据可以从数据库或一般的syslog文本文件中...

PHP-FPM 学习记录(php.fpm)

什么是FastCGI请阅读FastCGI(FastCommonGatewayInterface)的理解这里不再赘述什么是(PHP-FPM)PHP5.4之前只是用来管理php-cgi进程的进程管理...

Nginx access_log 运行日志查询和配置

1.介绍当我们学会Nginx的基本配置之后,可以通过Nginx配置Service代理。管理服务器所有的http和https请求。那么接下来就需要了解Nginx的日志控制,以及相关的文档查看了。你通过...

PHP 单例模式(php单例模式和工厂模式)

单例模式(SingletonPattern)单例模式(SingletonPattern):顾名思义,就是只有一个实例。作为对象的创建模式,单例模式确保某一个类只有一个实例,而且自行实例化并向...

PHP之单例模式(php 单例模式优点及如何实现)

单例模式属于创建型模式,何为创建型模式,即创建型模式抽象了实例化过程。他们帮助一个系统独立于如何创建、组合和表示他的那些对象。一个类创建型模式使用继承改变被实例化的类。而一个对象创建型模式将实例化委托...

2022年SEO还需要交换友情链接吗(seo还有用吗)

友情链接是什么意思?这是一个古老的话题,但对于现在的正规网站依然行之有效,本篇详细讲讲2022年对友情链接的理解与操作。今天,小小课堂网(www.xxkt.org.cn)带来的是《2022年SEO...

基于maxkb实现对话一键生成docx分析报告,支持图片和表格

通过扩展maxkb的知识库管理和ai对话能力,实现一键生成分析报告及word文档;本次优化点在于:实现用户输入多个问题,一键生成分析报告,并提供word文件将内容下载下来word中支持markdown...

新版证书查询系统源码 支持自适应多端

TP开发证书查询系统适用于各行业相关证书查询,基于ThinkPHP开发,可以同时多字段区配查询,后台管理界面清新,可批量导入导出数据,格式为:JSON、CSV、Excel等,自适应手机端,PC端...

Rocky Linux 9 源码包安装php8(rocksdb 源码)

RockyLinux9源码包安装php8大家好,我是星哥!今天咱们不聊yum一键安装的“快餐式”部署,来点儿硬核的——源码编译安装PHP8.3。为什么要折腾源码?因为它能让你深度定制PHP功能...