PHP 多进程(pcntl)避免资源竞争、死锁的方案

AI摘要
【知识分享】该内容系统讲解PHP pcntl多进程编程中资源竞争与死锁的成因及规避方案,涵盖fork后连接句柄共享问题、任务分片预分配、flock与Redis锁机制、死锁四条件破坏策略、队列解耦、信号处理及常见误区,并给出单机与分布式场景的选型建议,属技术实践类知识分享。

PHP 多进程(pcntl)避免资源竞争、死锁的方案

先记住核心前提:fork 之后,父子进程内存隔离,但是文件句柄、数据库连接、redis 连接、文件锁这些内核资源是共享的(fork时复制句柄),这是竞争问题的根源。

适用场景:pcntl_fork 多进程,CLI 模式;FPM 不建议用 pcntl。

一、先分清两类竞争

  1. 共享资源竞争:多个子进程同时读写同一个文件、同一条数据库记录、同一个Redis key
  2. 句柄复用问题(PHP最容易踩):fork前创建的DB/Redis连接,子进程共用同一个socket句柄 → 报文错乱、连接异常,看起来像“诡异死锁”,本质不是业务锁,是连接乱了。

二、通用最佳实践(按优先级)

1. 不要在 fork 之前创建长连接(最重要!)

❌ 错误写法:

// fork前先实例化redis
$redis = new Redis();
$redis->connect('127.0.0.1',6379);
foreach($tasks as $task){
    $pid = pcntl_fork();
    if($pid === 0){
        // 子进程直接复用父进程的redis句柄,多个进程抢同一个socket,数据乱序、连接卡死
        $redis->get('xxx');
        exit;
    }
}

✅ 正确:所有连接,放到子进程内部创建

if ($pid === 0) {
    // 子进程内部才初始化连接
    $redis = new Redis();
    $redis->connect('127.0.0.1',6379);
    // 业务逻辑
    exit(0);
}

数据库、Redis、MQ 连接都遵循这个规则;子进程退出自动关闭连接。

2. 任务分片 + 任务预分配,从源头减少竞争

尽量让每个子进程处理互不重叠的数据:

  • 父进程提前把任务分片,每个子进程只负责自己那一段数据
  • 比如按ID取模:id % 进程数 == 当前子进程编号 好处:不需要锁,没有竞争,是最优方案。

3. 需要共享资源时,使用可靠锁机制

PHP 多进程锁可选方案:

  1. 文件锁(flock):简单,适合单机,进程间锁

    $fp = fopen('/tmp/task.lock', 'r+');
    // LOCK_EX 排他锁;LOCK_NB 非阻塞,防止死等
    if (!flock($fp, LOCK_EX | LOCK_NB)) {
        echo "拿不到锁,跳过或重试\n";
        exit;
    }
    // 临界区:读写共享资源
    flock($fp, LOCK_UN); // 释放锁
    fclose($fp);
    

    注意:flock 是劝告锁,不是强制锁;多个进程必须都用 flock 才生效。

  2. Redis分布式锁(RedLock/简单SETNX+过期时间):单机/多机都可用,推荐业务用

    • 一定要设置锁超时时间,防止子进程崩溃锁永不释放 → 死锁
    • 不要用 GET + SET 两步,要用原子命令 SET key value NX EX
  3. MySQL 行锁 / 悲观锁 SELECT ... FOR UPDATE

    • 只锁行,不要锁整张表;索引失效会变成表锁,极易死锁
    • 访问资源固定顺序(比如永远按id从小到大更新),避免循环等待死锁

❌ 不要用 PHP 内存变量做锁:fork后内存隔离,子进程看不到父进程变量,无效。

4. 避免死锁的核心规则

死锁四个条件:互斥、持有并等待、不可剥夺、循环等待。破坏任意一个即可。

  1. 统一资源获取顺序 所有子进程访问多个共享资源时,永远按相同顺序申请锁。 例:要同时操作A、B两条记录,所有进程都先拿A锁,再拿B锁;有的先A后B、有的先B后A → 极易死锁。
  2. 所有锁都设置超时 + 非阻塞获取 不要阻塞式无限等待锁,拿不到就放弃、重试、或者延后处理,避免互相等。
  3. 持有锁的时间尽量短 临界区只做必须保护的读写,不要在锁里面做sleep、远程调用、慢查询。拿到锁尽快释放。
  4. 进程崩溃自动释放锁
  • Redis锁:设置expire
  • 文件锁:进程意外退出,内核自动释放flock
  • MySQL:事务回滚/连接断开自动释放行锁

5. 任务队列解耦(推荐大规模场景)

父进程只负责分发,子进程从队列抢任务:Redis List / RabbitMQ

  • 消息队列自带原子抢占(lpop/rpop),天然避免竞争
  • 一个任务只会被一个子进程抢到,不需要自己写锁
父进程:把任务push到redis list
子进程:while(true) { $redis->lpop('task_queue'); 处理任务 }

注意:做好任务ack、失败重试,防止丢任务。

6. 信号与进程退出处理,防止锁泄漏

子进程收到终止信号(SIGINT/SIGTERM)时,捕获信号,主动释放锁、回滚事务,不要直接暴力退出。

pcntl_signal(SIGTERM, function(){
    // 释放锁、关闭连接、清理资源
    exit(1);
});

但是注意:信号回调里不要做复杂IO,尽量只做标记。

7. 禁止在子进程里再fork嵌套(除非你非常清楚)

嵌套fork很容易出现句柄混乱、锁继承、僵尸进程叠加,大幅提升死锁和资源泄露概率。


三、常见坑总结

  1. Fork前创建连接 → 句柄共享,报文错乱,看起来像死锁(高频踩坑)
  2. 阻塞拿锁,没有超时,进程挂了锁不放 → 死锁
  3. 多个进程获取锁顺序不一致 → 循环等待死锁
  4. 使用共享内存shmop做锁:shmop可以共享,但要自己实现原子锁,容易写bug,优先redis/flock
  5. 多个进程同时写同一个文件,不加flock → 文件内容错乱

四、选型建议

  • 单机、简单任务:优先分片无锁;必须同步就用 flock + LOCK_NB
  • 单机/分布式业务任务:Redis原子队列 + Redis锁,最稳
  • MySQL数据更新:优先行锁,固定访问顺序,缩短事务时间
六月的风
Junwind
讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!