mysql 如何毫秒级同步数据到 elasticsearch

lijizheng 的个人博客 / 454 / 11 / 创建于 1年前

mysql 如何毫秒级同步数据到 elasticsearch ，将订单数据同步到es

本作品采用《CC 协议》，转载必须注明作者和本文链接

课程读者 95 声望

会写bug，也会改bug

《L01 基础入门》

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

《L05 电商实战》

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

推荐文章：

更多推荐...

工作小锦囊系列——如何实现一个车辆预定功能（下） 13 / 15 |

面试 POPER 的后端开发工程师的离奇经历 34 / 104 |

高效办公小技巧——如何批量处理 SQL 文件？ 19 / 10 |

Mysql 的 varchar 字段最大长度真的是 65535 吗？ 34 / 10 |

Redis 实用小技巧——如何实现一个排行榜功能 24 / 17 |

MySQL 实用小技巧——谁动了我的 MySQL ？ 63 / 18 |

讨论数量: 11

minororange

Laravel 9.x 译者 352 声望

试试这个：github.com/xingwenge/canal-php

1年前评论

lijizheng （楼主）

这个我安装启动有点没有看懂他那个那么同步或指定表同步了大佬有指教吗

Diego_crazy

139 声望

推荐使用es中间件官方工具：Logstash。www.elastic.co/cn/logstash/

1年前评论

lijizheng （楼主）

这个不行，第一同步时间不能达到毫秒级，第二同步时间太慢了

Diego_crazy （作者）

@lijizheng 是不是毫秒级记不得了，印象中是几乎实时的；增量同步，且支持集群你说同步时间太慢就不可能了

lijizheng （楼主）

只能到分钟数，同步我看了确实要很久

lijizheng （楼主）

我数据量比较大

Diego_crazy （作者）

@lijizheng 对实时性要求较高就双写吧。以前项目每天数据是TB级的，当时是采用从kafka双写到es+mongodb；每天几个G，几百M的项目是logstash同步mysql到es的

lijizheng （楼主）

ok

pan_zoe

课程读者 182 声望

从模型更新和删除观察者里面来，这样基本就实时了，缺点是无法批量更新

1年前评论

lijizheng （楼主）

我想要把订单数据这些加进去，方便订单查询，但是从模型这些更新来的话，会比较慢

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

未填写

私信

文章归档

1 篇 2023 年 12 月 3 篇 2023 年 7 月 2 篇 2023 年 6 月 2 篇 2023 年 5 月 2 篇 2023 年 3 月 7 篇 2023 年 2 月 3 篇 2023 年 1 月 2 篇 2022 年 12 月 2 篇 2022 年 11 月 1 篇 2022 年 10 月 1 篇 2022 年 9 月 3 篇 2022 年 8 月 1 篇 2022 年 6 月 1 篇 2021 年 11 月 3 篇 2021 年 3 月 3 篇 2021 年 1 月

4个月前服务器卡顿有什么好的排查方法 8个月前论程序员的终点是什么（普通程序员，科学研究免谈） 8个月前 linux 系统镜像你们怎么选的 9个月前问一个rabbitmq的问题没有加入队列和消费 10个月前 lumen + swoole 实现http 服务器

1 mysql 优化服务器 12核 32g 这样配置还有什么优化的吗 0 你们服务器docker 容器监控这些用的什么 0 gin + gorm 查询成功数据表字段都存在返回空数据 0 mysql 表数据量大量查询慢如何优化 0 服务器卡顿有什么好的排查方法

成为赞助商