• 技术文章 >Python技术 >Python高级

    Python中的多进程是什么

    爱喝马黛茶的安东尼爱喝马黛茶的安东尼2019-06-29 11:24:54原创2343

    多进程 multiprocessing

    由于Python是跨平台的,自然也应该提供一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。

    multiprocessing模块提供了一个Process类来代表一个进程对象。

    Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊。普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前进程(称为父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回。

    子进程永远返回0,而父进程返回子进程的ID。这样做的理由是,一个父进程可以fork出很多子进程,所以,父进程要记下每个子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的ID。

    Python的os模块封装了常见的系统调用,其中就包括fork,可以在Python程序中轻松创建子进程:

    1

    2

    3

    4

    5

    6

    7

    8

    import os

    print('Process (%s) start...' % os.getpid())

    # Only works on Unix/Linux/Mac:

    pid = os.fork()

    if pid == 0:

        print('I am child process (%s) and my parent is %s.' % (os.getpid(), os.getppid()))

    else:

        print('I (%s) just created a child process (%s).' % (os.getpid(), pid))

    运行结果如下:

    1

    2

    3

    Process (69673) start ...

    I (69673) just created a child Process(69674)

    I am child proces (69674) and my parent is 69673.

    有了fork调用,一个进程在接到新任务时就可以复制出一个子进程来处理新任务,常见的Apache服务器就是由父进程监听端口,每当有新的http请求时,就fork出子进程来处理新的http请求。

    但是这个fork在windows操作系统是没有的。于是出现了处理fork的通用模块,以保证在不同操作系统间的调用。

    multiprocessing模块就是跨平台版本的多进程模块。

    multiprocessing模块提供了一个Process类来代表一个进程对象,下面的例子演示了启动一个子进程并等待其结束:

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

    16

    #!/usr/bin/env python

    # coding=utf-8

    from multiprocessing import Process

    import os

    """

        子进程要执行的代码

    """

    def run_proc(name):

        print('Run child process %s (%s)' % (name, os.getpid()))

    if __name__ == '__main__':

        print('Parent process %s.' % os.getpid())

        p = Process(target=run_proc, args=('test_code',))

        print('Child process will start.')

        p.start()

        p.join()

        print('Child process end.')

    执行结果如下:

    1

    2

    3

    4

    5

    $ python forkbymutilprocessing.py

    Parent process 70227.

    Child process will start.

    Run child process test_code (70228)

    Child process end.

    创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,用start()方法启动,这样创建进程比fork()还要简单。

    join()方法可以等待子进程结束后再继续往下运行,通常用于进程间的同步。

    专题推荐:python 多进程
    上一篇:Python中处理属性的重要属性和函数是什么 下一篇:Python中的进程是什么

    相关文章推荐

    • Python如何利用动态属性处理JSON数据源• Python中处理属性的重要属性和函数是什么

    全部评论我要评论

    © 2021 Python学习网 苏ICP备2021003149号-1

  • 取消发布评论
  • 

    Python学习网