欢迎光临
我们一直在努力

详细讲解swoole的多进程模块

一、Swoole的多进程模块

1.1 介绍

Swoole是有自己的一个进程管理模块,用来替代PHP的pcntl扩展。

需要注意Process进程在系统是非常昂贵的资源,创建进程消耗很大。另外创建的进程过多会导致进程切换开销大幅上升。

1.2为什么不使用pcntl

pcntl没有提供进程间通信的功能

pcntl不支持重定向标准输入和输出

pcntl只提供了fork这样原始的接口,容易使用错误

1.3 swoole是怎么解决的

swoole_process提供了基于unixsock的进程间通信,使用很简单只需调用write/read或者>push/pop即可

swoole_process支持重定向标准输入和输出,在子进程内echo不会打印屏幕,而是写入管道,读键盘输入可以重定向为管道读取数据

swoole_process提供了exec接口,创建的进程可以执行其他程序,与原PHP父进程之间可以方便的通信

二、创建进程

函数原型:

SwooleProcess::__construct(callable $function, $redirect_stdin_stdout = false, $create_pipe = true)

$function,子进程创建成功后要执行的函数,底层会自动将函数保存到对象的callback属性上。如果希望更改执行的函数,可赋值新的函数到对象的callback属性

$redirect_stdin_stdout,重定向子进程的标准输入和输出。启用此选项后,在子进程内输出内容将不是打印屏幕,而是写入到主进程管道。读取键盘输入将变为从管道中读取数据。默认为阻塞读取。

$create_pipe,是否创建管道,启用$redirect_stdin_stdout后,此选项将忽略用户参数,强制为true。如果子进程内没有进程间通信,可以设置为 false

swoole创建多进程很简单:new SwooleProcess(‘callback_function’) 就可以了。

比如我要同时创建6个进程,就for 循环6次就可以了。 

举例:

假设前台给后台三组任务要求后台去执行,每个任务大概需要执行一秒的时间,我们利用多进程的形式去实现,让时间能够缩短。

2.2、进程间的通讯

如果是非常简单的多进程执行任务,那么进程间就不需要通讯了,实际情况下,很多业务是需要通讯的,比如,发邮件,如果自进程发送失败了,那么是要通知主进程的等等,我们在之前在使用task的时候其实也是使用了管道通讯

swoole_process进程间支持2种通信方式:

1、管道pipe

2、消息队列

2.2.1 管道通讯

半双工: 数据单向流动, 一端只读, 一端只写.

同步 vs 异步: 默认为同步阻塞模式, 可以使用 swoole_event_add() 添加管道到 swoole event loop 中, 实现异步IO

管道通信是swoole_process默认的一种通信方式。当然我们也可以在实例化的时候通过参数来设定:

$process = new SwooleProcess(‘callback_function’, false, true);

如果我们打印$process会发现,每次创建一个进程后,就会随之创建一个管道,主进程想和哪一个进程通信,就向那个进程的管道写入/读取数据。

管道有2个方法,分别来写入数据,和读取数据。

Master 写

Worker 读

Worker 写

Master 读

2.2.2消息队列的通讯

消息队列:

一系列保存在内核中的消息链表

有一个 msgKey, 可以通过此访问不同的消息队列

有数据大小限制, 默认 8192

阻塞 vs 非阻塞: 阻塞模式下 pop()空消息队列/push()满消息队列会阻塞, 非阻塞模式可以直接返回

swoole 中使用消息队列:

通信模式: 默认为争抢模式, 无法将消息投递给指定子进程

新建消息队列后, 主进程就可以使用

消息队列不可和管道一起使用, 也无法使用 swoole event loop

启用消息队列作为进程间通信。

bool swoole_process->useQueue(int $msgkey = 0, int $mode = 2);

投递数据到消息队列中。

bool swoole_process->push(string $data);

从队列中提取数据。

string swoole_process->pop(int $maxsize = 8192);

案例:百度订单中心案例

1. 通过process模块创建manager进程及worker进程,manager进程负责接收外部投递数据投递至workerworker进程负责执行业务逻辑

2. Managerworker进程间通讯使用共享消息队列

3. 监控消息队列长度,超过一定队列长度之后,可以开启更多进程处理

三、进程池模块

进程池,基于ServerManager模块实现。可管理多个工作进程。该模块的核心功能为进程管理,相比Process实现多进程,ProcessPool更加简单,封装层次更高,开发者无需编写过多代码即可实现进程管理功能。

在实际项目中经常需要写一些长期运行的脚本,如基于redis、kafkarabbitmq实现的多进程队列消费者,多进程爬虫等等。

3.1  创建进程池

快速入门:

1、PHP代码中使用new SwooleProcessPool即可创建一个进程池,构造方法的第一个参数传入工作进程的数量。

创建进程池。函数原型:

function ProcessPool::__construct(int $worker_num, int $ipc_type = 0, int $msgqueue_key = 0);

2、使用on方法设置WorkerStart即可在工作进程启动时执行指定的代码,可以在这里进行while(true)循环从redis队列中获取任务并处理。使用start方法启动所有进程,管理器开始进入wait状态。

设置进程池回调函数

function ProcessPool::on(string $event, callable $function);

注意:

1、某个工作进程遇到致命错误、主动退出时管理器会进行回收,避免出现僵尸进程

2、工作进程退出后,管理器会自动拉起、创建一个新的工作进程

3.2、信号处理

底层仅设置了主进程(管理进程)的信号处理,并未对Worker工作进程设置信号,需要开发者自行实现信号的监听

Swoole进程管理器自带了信号处理,向管理器进程发送:

SIGTERM信号:中止服务,向所有工作进程发送SIGTERM关闭进程

SIGUSR1信号:重启工作进程,管理器会逐个重启工作进程

在工作进程中应当监听SIGTERM信号,当主进程需要终止该进程时,会向此进程发送SIGTERM信号。如果工作进程未监听SIGTERM信号,底层会强行终止当前进程,造成部分逻辑丢失。

3.3、任务投递

Swoole进程管理器自带了消息队列和消息投递的支持。可设置监听系统队列或者TCP端口,接收任务数据。此项功能是可选的,要使用任务投递功能,需要对进程池对象设置onMessage回调。

赞(0) 打赏
未经允许不得转载:码农资源网 » 详细讲解swoole的多进程模块
分享到

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫打赏

微信扫一扫打赏

登录

找回密码

注册