PHP 多进程(pcntl)避免资源竞争、死锁的方案
PHP 多进程(pcntl)避免资源竞争、死锁的方案
先记住核心前提:fork 之后,父子进程内存隔离,但是文件句柄、数据库连接、redis 连接、文件锁这些内核资源是共享的(fork时复制句柄),这是竞争问题的根源。
适用场景:pcntl_fork 多进程,CLI 模式;FPM 不建议用 pcntl。
一、先分清两类竞争
- 共享资源竞争:多个子进程同时读写同一个文件、同一条数据库记录、同一个Redis key
- 句柄复用问题(PHP最容易踩):fork前创建的DB/Redis连接,子进程共用同一个socket句柄 → 报文错乱、连接异常,看起来像“诡异死锁”,本质不是业务锁,是连接乱了。
二、通用最佳实践(按优先级)
1. 不要在 fork 之前创建长连接(最重要!)
❌ 错误写法:
// fork前先实例化redis
$redis = new Redis();
$redis->connect('127.0.0.1',6379);
foreach($tasks as $task){
$pid = pcntl_fork();
if($pid === 0){
// 子进程直接复用父进程的redis句柄,多个进程抢同一个socket,数据乱序、连接卡死
$redis->get('xxx');
exit;
}
}
✅ 正确:所有连接,放到子进程内部创建
if ($pid === 0) {
// 子进程内部才初始化连接
$redis = new Redis();
$redis->connect('127.0.0.1',6379);
// 业务逻辑
exit(0);
}
数据库、Redis、MQ 连接都遵循这个规则;子进程退出自动关闭连接。
2. 任务分片 + 任务预分配,从源头减少竞争
尽量让每个子进程处理互不重叠的数据:
- 父进程提前把任务分片,每个子进程只负责自己那一段数据
- 比如按ID取模:
id % 进程数 == 当前子进程编号好处:不需要锁,没有竞争,是最优方案。
3. 需要共享资源时,使用可靠锁机制
PHP 多进程锁可选方案:
文件锁(flock):简单,适合单机,进程间锁
$fp = fopen('/tmp/task.lock', 'r+'); // LOCK_EX 排他锁;LOCK_NB 非阻塞,防止死等 if (!flock($fp, LOCK_EX | LOCK_NB)) { echo "拿不到锁,跳过或重试\n"; exit; } // 临界区:读写共享资源 flock($fp, LOCK_UN); // 释放锁 fclose($fp);注意:flock 是劝告锁,不是强制锁;多个进程必须都用 flock 才生效。
Redis分布式锁(RedLock/简单SETNX+过期时间):单机/多机都可用,推荐业务用
- 一定要设置锁超时时间,防止子进程崩溃锁永不释放 → 死锁
- 不要用
GET + SET两步,要用原子命令SET key value NX EX
MySQL 行锁 / 悲观锁
SELECT ... FOR UPDATE- 只锁行,不要锁整张表;索引失效会变成表锁,极易死锁
- 访问资源固定顺序(比如永远按id从小到大更新),避免循环等待死锁
❌ 不要用 PHP 内存变量做锁:fork后内存隔离,子进程看不到父进程变量,无效。
4. 避免死锁的核心规则
死锁四个条件:互斥、持有并等待、不可剥夺、循环等待。破坏任意一个即可。
- 统一资源获取顺序 所有子进程访问多个共享资源时,永远按相同顺序申请锁。 例:要同时操作A、B两条记录,所有进程都先拿A锁,再拿B锁;有的先A后B、有的先B后A → 极易死锁。
- 所有锁都设置超时 + 非阻塞获取 不要阻塞式无限等待锁,拿不到就放弃、重试、或者延后处理,避免互相等。
- 持有锁的时间尽量短 临界区只做必须保护的读写,不要在锁里面做sleep、远程调用、慢查询。拿到锁尽快释放。
- 进程崩溃自动释放锁
- Redis锁:设置expire
- 文件锁:进程意外退出,内核自动释放flock
- MySQL:事务回滚/连接断开自动释放行锁
5. 任务队列解耦(推荐大规模场景)
父进程只负责分发,子进程从队列抢任务:Redis List / RabbitMQ
- 消息队列自带原子抢占(lpop/rpop),天然避免竞争
- 一个任务只会被一个子进程抢到,不需要自己写锁
父进程:把任务push到redis list
子进程:while(true) { $redis->lpop('task_queue'); 处理任务 }
注意:做好任务ack、失败重试,防止丢任务。
6. 信号与进程退出处理,防止锁泄漏
子进程收到终止信号(SIGINT/SIGTERM)时,捕获信号,主动释放锁、回滚事务,不要直接暴力退出。
pcntl_signal(SIGTERM, function(){
// 释放锁、关闭连接、清理资源
exit(1);
});
但是注意:信号回调里不要做复杂IO,尽量只做标记。
7. 禁止在子进程里再fork嵌套(除非你非常清楚)
嵌套fork很容易出现句柄混乱、锁继承、僵尸进程叠加,大幅提升死锁和资源泄露概率。
三、常见坑总结
- Fork前创建连接 → 句柄共享,报文错乱,看起来像死锁(高频踩坑)
- 阻塞拿锁,没有超时,进程挂了锁不放 → 死锁
- 多个进程获取锁顺序不一致 → 循环等待死锁
- 使用共享内存shmop做锁:shmop可以共享,但要自己实现原子锁,容易写bug,优先redis/flock
- 多个进程同时写同一个文件,不加flock → 文件内容错乱
四、选型建议
- 单机、简单任务:优先分片无锁;必须同步就用
flock + LOCK_NB - 单机/分布式业务任务:Redis原子队列 + Redis锁,最稳
- MySQL数据更新:优先行锁,固定访问顺序,缩短事务时间
关于 LearnKu