mysql 如何毫秒级同步数据到 elasticsearch

lijizheng 的个人博客 / 3 / 11 / 创建于 3年前

mysql 如何毫秒级同步数据到 elasticsearch ，将订单数据同步到es

本作品采用《CC 协议》，转载必须注明作者和本文链接

课程读者 102 声望

会写bug，也会改bug

《L03 构架 API 服务器》

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

《G01 Go 实战入门》

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

如何打造令后端面试官印象深刻的简历？ 16 / 10 |

冯老师的困惑 —— 一个跑了两年的 BUG 22 / 18 |

无需修改任何代码和扩展将你的Laravel项目性能提高20倍 104 / 101 |

如何让DcatAdmin再放光芒,惠及百万PHPer 19 / 39 |

手摸手带你使用 docker-compose 编排一个开发环境 22 / 15 |

Tiny RDM - 您的极简Redis数据管理利器！高效、易用、快速部署。立即体验！🚀! 欢迎各位来尝鲜. 13 / 23 |

讨论数量: 11

minororange

Laravel 9.x 译者 356 声望

试试这个：github.com/xingwenge/canal-php

3年前评论

lijizheng （楼主）

这个我安装启动有点没有看懂他那个那么同步或指定表同步了大佬有指教吗

Diego_crazy

203 声望

推荐使用es中间件官方工具：Logstash。www.elastic.co/cn/logstash/

3年前评论

lijizheng （楼主）

这个不行，第一同步时间不能达到毫秒级，第二同步时间太慢了

Diego_crazy （作者）

@lijizheng 是不是毫秒级记不得了，印象中是几乎实时的；增量同步，且支持集群你说同步时间太慢就不可能了

lijizheng （楼主）

只能到分钟数，同步我看了确实要很久

lijizheng （楼主）

我数据量比较大

Diego_crazy （作者）

@lijizheng 对实时性要求较高就双写吧。以前项目每天数据是TB级的，当时是采用从kafka双写到es+mongodb；每天几个G，几百M的项目是logstash同步mysql到es的

lijizheng （楼主）

ok

pan_zoe

课程读者 182 声望

从模型更新和删除观察者里面来，这样基本就实时了，缺点是无法批量更新

3年前评论

lijizheng （楼主）

我想要把订单数据这些加进去，方便订单查询，但是从模型这些更新来的话，会比较慢

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

未填写

私信

文章归档

1 篇 2024 年 12 月 1 篇 2024 年 6 月 1 篇 2024 年 5 月 1 篇 2023 年 12 月 3 篇 2023 年 7 月 2 篇 2023 年 6 月 2 篇 2023 年 5 月 2 篇 2023 年 3 月 7 篇 2023 年 2 月 3 篇 2023 年 1 月 2 篇 2022 年 12 月 2 篇 2022 年 11 月 1 篇 2022 年 10 月 1 篇 2022 年 9 月 3 篇 2022 年 8 月 1 篇 2022 年 6 月 3 篇 2021 年 3 月 3 篇 2021 年 1 月

1年前延时队列报错 2年前 php 有没有什么好方法好工具排查cpu 被打满 2年前天马服装对接 2年前服务器卡顿有什么好的排查方法 3年前论程序员的终点是什么（普通程序员，科学研究免谈）

1 php 有没有什么好方法好工具排查cpu 被打满 1 mysql 优化服务器 12核 32g 这样配置还有什么优化的吗 0 你们服务器docker 容器监控这些用的什么 0 gin + gorm 查询成功数据表字段都存在返回空数据 0 mysql cpu 一直居高不下

成为赞助商