mysql 如何毫秒级同步数据到 elasticsearch

lijizheng 的个人博客 / 3 / 11 / 创建于 3年前

mysql 如何毫秒级同步数据到 elasticsearch ，将订单数据同步到es

本作品采用《CC 协议》，转载必须注明作者和本文链接

lijizheng

课程读者 102 声望

会写bug，也会改bug

0 人点赞

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

讨论数量: 11

minororange

Laravel 9.x 译者 356 声望

试试这个：github.com/xingwenge/canal-php

3年前评论

lijizheng （楼主）

这个我安装启动有点没有看懂他那个那么同步或指定表同步了大佬有指教吗

Diego_crazy

203 声望

推荐使用es中间件官方工具：Logstash。www.elastic.co/cn/logstash/

3年前评论

lijizheng （楼主）

这个不行，第一同步时间不能达到毫秒级，第二同步时间太慢了

Diego_crazy （作者）

@lijizheng 是不是毫秒级记不得了，印象中是几乎实时的；增量同步，且支持集群你说同步时间太慢就不可能了

lijizheng （楼主）

只能到分钟数，同步我看了确实要很久

lijizheng （楼主）

我数据量比较大

Diego_crazy （作者）

@lijizheng 对实时性要求较高就双写吧。以前项目每天数据是TB级的，当时是采用从kafka双写到es+mongodb；每天几个G，几百M的项目是logstash同步mysql到es的

lijizheng （楼主）

pan_zoe

课程读者 182 声望

从模型更新和删除观察者里面来，这样基本就实时了，缺点是无法批量更新

3年前评论

lijizheng （楼主）

我想要把订单数据这些加进去，方便订单查询，但是从模型这些更新来的话，会比较慢

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

未填写

私信

所有博文

文章归档

1 篇 2024 年 12 月 1 篇 2024 年 6 月 1 篇 2024 年 5 月 1 篇 2023 年 12 月 3 篇 2023 年 7 月 2 篇 2023 年 6 月 2 篇 2023 年 5 月 2 篇 2023 年 3 月 7 篇 2023 年 2 月 3 篇 2023 年 1 月 2 篇 2022 年 12 月 2 篇 2022 年 11 月 1 篇 2022 年 10 月 1 篇 2022 年 9 月 3 篇 2022 年 8 月 1 篇 2022 年 6 月 3 篇 2021 年 3 月 3 篇 2021 年 1 月

1年前延时队列报错 1年前 php 有没有什么好方法好工具排查cpu 被打满 1年前天马服装对接 2年前服务器卡顿有什么好的排查方法 2年前论程序员的终点是什么（普通程序员，科学研究免谈）

1 php 有没有什么好方法好工具排查cpu 被打满 1 mysql 优化服务器 12核 32g 这样配置还有什么优化的吗 0 你们服务器docker 容器监控这些用的什么 0 gin + gorm 查询成功数据表字段都存在返回空数据 0 mysql cpu 一直居高不下

成为赞助商

mysql 如何毫秒级同步数据到 elasticsearch

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

mysql 如何毫秒级同步数据到 elasticsearch

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录