百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

解锁Python并发编程:多线程和多进程的神秘面纱揭晓

moboyou 2025-06-07 16:56 4 浏览

欢迎来到我们的系列博客《Python全景系列》!在这个系列中,我们将带领你从Python的基础知识开始,一步步深入到高级话题,帮助你掌握这门强大而灵活的编程语法。无论你是编程新手,还是有一定基础的开发者,这个系列都将提供你需要的知识和技能。

这是本系列的第五篇,我们将深入探讨Python中的并发编程,特别关注多线程和多进程的应用。我们将先从基本概念开始,然后通过详细举例探讨每一种机制,最后分享一些实战经验以及一种优雅的编程技巧。

第一部分:多线程介绍

线程是操作系统中最小的执行单元。在单个程序或进程内,可以并发运行多个线程,共享进程的资源,如内存和文件描述符。

1.1 Python中的多线程

Python支持多线程编程,并提供了threading模块作为支持。这个模块提供了Thread类,我们可以通过创建其实例并向其传递函数来创建新线程。当然,你也可以通过继承Thread类并重写run()方法来创建自定义线程。下面是一个多线程编程的例子:

import threading

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 创建线程
t1 = threading.Thread(target=print_numbers)
t2 = threading.Thread(target=print_letters)

# 启动线程
t1.start()
t2.start()

# 等待线程结束
t1.join()
t2.join()

在上面的例子中,我们定义了两个函数:一个打印数字,另一个打印字母。然后我们创建了两个线程,每个线程的目标是执行这些函数。start()方法用于启动线程,而join()方法用于等待线程完成。

1.2 多线程的实际应用

尽管Python的多线程因为全局解释器锁(GIL)的存在,并不能实现真正的并行,但是它们在I/O密集型任务中仍然很有用。GIL是CPython解释器的一个互斥锁,保证在任何时刻只有一个线程在执行。这意味着在CPU密集型任务中,多线程可能不是最佳选择,因为它们无法充分利用多核CPU。

然而,在I/O密集型任务中,多线程能够提高程序性能。例如,如果一个程序需要从多个源下载文件,那么使用多线程可以使得当一个线程等待网络响应时,其他线程可以继续下载其他文件。这样,程序可以在同一时间从多个源下载文件,大大提高了效率。

第二部分:多进程介绍

进程是操作系统中独立的执行实体,每个进程都有自己的内存空间、文件描述符等资源。与线程不同,进程之间的资源

并不共享,每个进程都有自己独立的资源。

2.1 Python中的多进程

Python通过multiprocessing模块提供了多进程支持。类似于多线程,我们可以通过创建Process类的实例并向其传递函数来创建新进程。我们也可以通过继承Process类并重写run()方法来创建自定义进程。

以下是一个简单的多进程编程的例子:

import multiprocessing

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 创建进程
p1 = multiprocessing.Process(target=print_numbers)
p2 = multiprocessing.Process(target=print_letters)

# 启动进程
p1.start()
p2.start()

# 等待进程结束
p1.join()
p2.join()

这个例子和前面的多线程例子类似,不同的是这里我们创建的是两个进程,而不是线程。

2.2 多进程的实际应用

多进程可以实现真正的并行,使得Python程序可以利用多核CPU。因此,对于CPU密集型任务,多进程通常比多线程更有优势。另一方面,多进程的开销比多线程大,而且进程间的通信和同步也比线程间的更为复杂。因此,对于I/O密集型任务,或者需要频繁通信的任务,多线程可能会是更好的选择。

第三部分:优化并发编程的技巧

在Python中,concurrent.futures模块为多线程和多进程编程提供了高级接口,可以让我们更加简洁地编写代码。

这个模块提供了ThreadPoolExecutor和ProcessPoolExecutor两个类,它们分别用于创建线程池和进程池。这两个类都实现了相同的接口,你可以使用submit()方法提交任务,然后使用as_completed()函数等待任务完成。

下面是一个使用concurrent.futures模块的示例:

import concurrent.futures

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 使用线程池
with concurrent.futures.ThreadPoolExecutor() as executor:
    future1 = executor.submit(print_numbers)
    future2 = executor.submit(print_letters)
    for future in concurrent.futures.as_completed([future1, future2]):
        pass

# 使用进程池
with concurrent.futures.ProcessPoolExecutor() as executor:
    future1 = executor.submit(print_numbers)
    future2 = executor.submit(print_letters)
    for future in concurrent.futures.as_completed([future1, future2]):
        pass
                ```
在上面的例子中,我们创建了线程池和进程池,然后向它们提交任务。可以看到,使用`concurrent.futures`模块,我们的代码更加简洁,易读性和可维护性也有所提高。

# 总结
Python的多线程和多进程都是非常强大的工具,可以帮助我们编写出更高效的程序。然而,它们也各有优缺点,需要我们根据具体的任务和需求来选择。同时,Python还提供了`concurrent.futures`模块,可以使我们的并发编程变得更加简单和高效。

我们希望本文能帮助你更好地理解和使用Python的多线程和多进程。如果你有任何疑问或者建议,欢迎在评论区留言。

**【第一时间获得Python全视角更新信息,请关注本人微信公众号: Python全视角】**

相关推荐

python多线程实现查找目录下有没有相同哈希值的文件

python多线程实现查找目录下有没有相同的文件,列出哈希值相同的文件importosimporthashlibfromconcurrent.futuresimportThreadPoo...

Java、Go 和 Python 多线程性能对比

大家好,我是难瓜。今天分享多线程下这三门语言的表现。简介在计算机中,线程是可以由处理器独立执行的小指令序列。多线程在一个进程中是可能的,其中它们共享资源,例如指令和上下文。发现在运行多线程进程时效率最...

干货分享丨Python多线程之_thread与threading模块

在Python程序中,多线程的应用程序会创建一个函数,来执行需要重复执行多次的程序代码,然后创建一个线程执行该函数。一个线程是一个应用程序单元,用于在后台并行执行多个耗时的动作。在多线程的应用程序中,...

一文带您了解Python中的并发:异步(Asyncio)和多线程(Thread)

Python以其简单性和多样性而闻名,是一种适用于广泛应用领域的编程语言。在处理多个任务并发时,Python提供了两种主要方法:Asyncio用于异步编程,Multithreading用于管理多个...

解锁Python并发编程:多线程和多进程的神秘面纱揭晓

欢迎来到我们的系列博客《Python全景系列》!在这个系列中,我们将带领你从Python的基础知识开始,一步步深入到高级话题,帮助你掌握这门强大而灵活的编程语法。无论你是编程新手,还是有一定基础的开发...

Python多线程-基础篇

一、多线程相关概念1.并发和并行的区别并发和并行是即相似又有区别的两个概念,并行是指两个或者多个事件在同一时刻同时执行,而并发是指两个或多个事件通过时间片轮流被执行。从计算机工作原理的角度出发,“并发...

PYTHON多线程实现web服务器httpserver实例

PYTHON多线程实现web服务器importhttp.serverimportsocketserverimportthreading#服务器监听的端口PORT=8000#...

如何编写Python漏洞验证脚本(单线程和多线程)

我们实战经常会遇到以下几个问题:1、遇到一个利用步骤十分繁琐的漏洞,中间错一步就无法利用2、挖到一个通用漏洞,想要批量刷洞小赚一波,但手动去测试每个网站工作量太大这个时候编写一个poc脚本将会减轻...

Python 多线程高频面试题,直接把这些答案“甩在”面试官脸上

点赞、收藏、加关注,下次找我不迷路不管你是刚入行的新手,还是有一定经验的开发者,掌握多线程的核心问题,都能让你在面试中脱颖而出。今天咱就来盘一盘5个高频的Python多线程面试题,用通俗易懂...

python多进程和多线程的使用和对比

介绍多线程和多进程是常见的并发编程模型,它们被广泛应用于各种类型的应用程序中。在本文中,我将就Python多线程和多进程进行详细的对比。首先,让我们来看一下Python多线程。多线程是一种并发编程模型...

24-3-Python多线程-线程队列-queue模块

3-1-概念queue模块提供了多线程编程中的队列实现,队列是线程安全的数据结构,能在多线程环境下安全地进行数据交换。3-2-queue的队列类型Queue(先进先出队列)、LifoQueue(后进...

玩蛇(Python) - 并发编程之多线程

一、线程简介线程(thread)是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。由于线程是操作系统直接支持的执行单元,因此,高级语言通常都内置多线程的支持,Pytho...

Python多进程与多线程应用场景对比

在Python中,多进程(Multiprocessing)和多线程(Multithreading)的选择取决于任务类型(I/O密集型vsCPU密集型)、Python的GIL限制以及并...

Python多线程,守护线程和非守护线程,线程的join方法,代码案例

守护线程和非守护线程守护线程&&非守护线程守护线程,是和主线程一起结束的线程,叫守护线程,非守护线程,主线程的结束不影响该线程的执行,主线程结束非守护线程不会立刻结束,也叫用户线程。Python的守护...

Python3中最常用的5种线程锁你会用吗

前言本章节将继续围绕threading模块讲解,基本上是纯理论偏多。对于日常开发者来讲很少会使用到本章节的内容,但是对框架作者等是必备知识,同时也是高频的面试常见问题。私信小编01即可获取大量Pyth...