重大翻车现场,记一次线上事故

关键词:golang、go、gorm、零值、有担当的富人

翻车日期:2021.03.04

翻车现场

今天下午3:30有同事反馈,app冷启动出现了测试公告弹窗。

image-20210304201616977

画外音:半小时前刚更新一个服务,赶紧检查下配置吧。

事件回述

  • 10:27:代码发布sandbox环境
  • 10:27~11:30:测试配置导入(因为配置比较多)生产环境,并手动修改少量差异配置
  • 11:30~11:50:sandbox环境验收完成
  • 11:51:api开始灰度
  • 12:46:灰度结束,api全量发布
  • 15:00:优化配置解析,重新发布了config服务
  • 15:30:同事反馈app冷启动有测试弹窗,立即检查并修正公告配置

蛛丝马迹

上午上线了一个需求,迁移了48条配置到业务配置中心(原来的配置是硬编码在项目里面的,每次改都要修改代码重新发布)。

上午上线之前明明验收过,没有问题才发生产的呀!

为了验证迁移之后接口一致性,我还特地安装了一个json-diff工具(官网),还特地从4.x5.x6.x验证了多个版本的配置,都没有问题。

image-20210304201103809

为啥现在有几条配置跟我验证时候的不一样了呢?

image-20210304201442816

等等,这些文案不是测试环境的文案么?

画外音:这个很可疑哦!

来龙去脉

因为配置文件比较多,一个个在生产环境加太麻烦了,我就直接把测试配置导入到生产环境中。然后手动修改下生产和测试不一致的几条配置,其中就包含了测试公告的几条配置。

画外音:但是为什么验收的时候是好的,然后下午重新发布了下服务就出问题了呢?

我打开数据库,看到数据库里面这几条配置记录还是测试的配置,并没有修改过来。。。我打开我的goland,翻看了下编辑接口代码,一下就发现了可疑之处:

err := tx.Table(p.tableName).Where("id=?", configID).Updates(t).Error

gormUpdates有个坑啊——如果你传的是一个structgorm默认是不更新“零值”字段的。这个坑我早就知道,无奈再一次重重的的踩进去了。git blame看了下作者——原来就是我自己,去年12月份写下的😭(自己的坑自己填,好在没有祸害到别人)。

豁然明朗

我画了一个简图,方便大家明白:

image-20210304203053829

  • 配置服务是无状态服务,所有配置都保存在内存中(业务配置不多,不会爆内存)
  • 服务启动的时候从mysql(持久化存储)加载所有配置,并与etcd保持一致性
  • 增量配置会保存到mysql中,并通过etcd保持所有节点同步

画外音:终于知道了为什么上午验收是好的,下午重启就出问题了!!!

上午导入的测试配置,生产环境正好要把他们其中几条改成空值。增量数据通过etcd同步到内存是正确的,但是持久化到mysql的时候gorm把应该置空的字段忽略了,导致数据库里面没有修改正确。下午一重启,GG。。。

总结

领导好像没有说什么,因为没有客诉,事情并不是很大。

画外音:既然领导没有说故障定责,要不就这样算了?

犹豫了半分钟——还是主动写个故障报告吧。

我犹豫的是,没有产生客诉,问题时间不长,而且犯得是这么低级的错误,是不是睁一只眼闭一只眼就过去了。。。

还是写了报告是因为内心告诉我,小事都不能承担责任,大事(优质项目)还轮得到我么?

最近看了《穷爸爸 富爸爸》这本书,书中说到“穷人的恐惧包括:害怕付不起账单、害怕被解雇、害怕没有足够的钱、害怕重新开始等等”。简单说就是,穷人总数怕这怕那。而这一次,我选择了做个有担当的富人😭。。。

教训与改进

  • 使用json-diff工具,自认为可以100%验证,就自测上线
  • 数据同步场景不仅仅要观察表象,也要关注持久化数据是否与表象一致
  • 加强开发规范,需求不分大小,都需要请测试把关
  • 不能盲目自信,保持一颗敬畏的心

关键词:golang、go、gorm、零值、有担当的富人

本作品采用《CC 协议》,转载必须注明作者和本文链接
您的点赞、评论和关注,是我创作的不懈动力。 学无止境,让我们一起加油,在技术的胡同里越走越深!
本帖由系统于 3年前 自动加精
讨论数量: 5

建议再搭建个预发布环境

3年前 评论
nanjingfm (楼主) 3年前
  1. 为什么配置信息要从etcd拿到后再同步至到mysql中呢?接口获取时直接读服务内存或etcd不行吗?配置信息放在两个中间件中就有可能存在数据不一致的风险
  2. 最终的解决方案是什么呢?
1年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!