请教各位大佬一个关于MySQL的问题

问答 / 185 / 5 / 创建于 3年前

1.需求:要从第三方获取到数据做数据统计。
2.第三方考虑到安全问题,不让我们直接连他们的数据库,只能通过一台跳板机(windows的)去连接。
3.跳板机会通过navicate的自动运行功能每天凌晨同步第三方的最新数据。
4.我们再连接跳板机的数据库,通过laravel的任务调度脚本(schedule)将数据同步到自己的数据库。因为要做数据统计,脚本中拉取的数据表结构可能不同，所以不能直接用跳板机的数据库。就有点麻烦。

目前有个问题就是,比如第一天的时候第三方客户表中有3条数据,跳板机中会同步到3条数据,然后我们也会拉取到3条数据。第二天的时候,新增了3条,同时修改了之前的3条数据,跳板机中因为是每天清空表重新拉取一次数据肯定会维持最新的。而我们只拉取新增的，修改的数据不会执行更新。该如何解决？

问题可以简化一下就是:从数据库A拉取数据到数据库B,因为数据量比较大,数据B每天只拉取数据库A中新增的数据,那么数据库A如果有数据更新怎么在数据库B中进行更新?因为要做报表、数据统计的功能,所以表结构会有点差异,也没法修改别人的数据库配置,无法做成主从数据库同步的那种。所以请教大家,我该咋办。。如果每天都清空表重新拉取一遍就太慢了

mysql php laravel

@ZLSN

ZLSN

18 声望

最美不过下雨天。

0 人点赞

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

博客

Laravel 11 中文文档仓库，已翻译完成！！！ 14 / 26 |

博客

Laravel验证器最完整用法实例 31 / 14 |

博客

PHP Annotated——2023 年 12 月 25 / 2 |

分享创造

使用 Laravel 10 & Vue 3 开发了一个社区站，一起来玩下～ 17 / 39 |

博客

历时一个月，《穿透Laravel》全书完成！ 87 / 25 |

博客

[开源项目] 基于 laravel 开发的一个社区/社交小程序 23 / 47 |

pigzzz

Laravel 8.x 译者 760 声望 / 搬砖 @ 工地

最佳答案

同步更新时间在前一天范围内的数据不就行了

3年前评论

pigzzz （作者）

@ZLSN 所以我说更新时间啊，你今天去更新，更新时间不就变成今天的了，然后你去同步更新时间为今天日期的不就行了

ZLSN （楼主）

但是会存在今天去更新前几天数据的状况。就比如今天的数据,不一定明天会更新,3个月之内都有可能会有改动

ZLSN （楼主）

@pigzzz 啊我懂了但是那个数据库有点乱,它更新数据的时候,有些表没有更新时间的这个字段。。

讨论数量: 5

pigzzz

Laravel 8.x 译者 760 声望 / 搬砖 @ 工地

同步更新时间在前一天范围内的数据不就行了

3年前评论

pigzzz （作者）

@ZLSN 所以我说更新时间啊，你今天去更新，更新时间不就变成今天的了，然后你去同步更新时间为今天日期的不就行了

ZLSN （楼主）

但是会存在今天去更新前几天数据的状况。就比如今天的数据,不一定明天会更新,3个月之内都有可能会有改动

ZLSN （楼主）

@pigzzz 啊我懂了但是那个数据库有点乱,它更新数据的时候,有些表没有更新时间的这个字段。。

num-10

0 声望

在自己数据库中冗余一份和远端数据库相同的表数据作为初始数据，再去做数据统计，这个可行么？

3年前评论

ZLSN （楼主）

不太行因为数据量有点大不过我可以试试去

zhangrongwang

课程读者 117 声望

如果第三方的每张表都准确记录了更新时间，只要判断更新时间就知道距离上一次更新后的增量添加和更新的数据了，如果没有那就只能全量更新了，因为根本没法确认增量数据是哪些。

3年前评论

a775119234

6 声望

新增的？用最后一条的id判断？

还有数据统计的字段用新表啊放在旧表的意义是什么

3年前评论

ZLSN （楼主）

就是用的新表啊，然后就拉取数据的时候有点小问题，没法更新之前拉取的数据

夜晚的雨

课程读者 63 声望

有这个情况的表，如果你可以让他们执行下这个语句

alter table {table_name} add column created_at timestamp default current_timestamp;
alter table {table_name} add column updated_at timestamp null on update current_timestamp;

你就只需要新增 created_at 在你同步之后的数据，更新 updated_at 在你更新之后的数据了。或者你在跳板机器上整个副本

3年前评论

夜晚的雨（作者）

@ZLSN 忘了告诉你了，你还得让他们 MySQL 的这个变量 explicit_default_for_timestamp 值为 ON（默认就为 ON，只要他们不改），另外他们添加这两个字段，不用改代码逻辑的

ZLSN （楼主）

ok 等我去试试~

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

请教各位大佬一个关于MySQL的问题

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请教各位大佬一个关于MySQL的问题

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录