laravel10项目MYSQL与ES增量同步问题

最近开发一个项目是laravel10
由于数据量大查询慢所以上了es,一开始全量同步直接用的laravel导入,后续增量同步使用了canal,但是不止一次把服务器搞崩了,因为这边业务直接用laravel消费任务没有通过消息中间件,大量消息过来会阻塞然后堆数据消耗内存。这个问题可以暂且忽略后续肯定要上消息队列。

主要的问题是canal启动后如果服务器重启应该还有个相关进程但是消费那边连不上,如果使用supervisor守护进程要改shell文件并且有很多次启动失败(有残留进程)或者频繁重启。目前canal业务es以及mysql都挤在一个服务器上,目前没有打算分开。想问问canal有什么进程挂掉自动重启并保证只有一个进程的解决方案吗,或者有其他靠谱的替代品吗,不知道maxwell能不能比canal好用
一个偏向心理学即将转向产品的码农
《L03 构架 API 服务器》
你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程,JWT 概念及使用 和 API 开发相关的进阶知识。
《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
最佳答案

直接用现成的工具吧,比如Apache SeaTunnel

11个月前 评论
working (楼主) 11个月前
讨论数量: 2

直接用现成的工具吧,比如Apache SeaTunnel

11个月前 评论
working (楼主) 11个月前

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!