任何时候都要对每个服务保持警惕

现象

下午4点半左右,客服陆陆续续表示几个账户无法登陆系统,反馈到技术部的时候,已经有大量的客服反应了!

过程

通过查看日志信息
要对任何服务保持警惕
查了一些资料,但是并不能解决当前的问题!因为我们用的是阿里云的 redis 4G集群版,所以查看了 redis 的容量,但是只是用了 2.3G, 程序写入报command not allow when used memory > maxmemory
但是实际使用内存没有触达 maxmemory,无解情况下,我们升级了内存,但是升级并不顺利(升级了好久),无奈情况下提交了工单!阿里云告诉我们:其中一个分片内存使用率达到了100%导致
但是并没有给我们提供解决时间,等待许久仍无法解决,无奈之下只能申请了一个新的实例

结论

在任何一个生产环境中,我们要对任何服务保持警惕,保证任何情况下,每个服务出现问题的时候,需要一个永远都用不上的 Plan B !!!

本作品采用《CC 协议》,转载必须注明作者和本文链接
快乐就是解决一个又一个的问题!
CrazyZard
《L05 电商实战》
从零开发一个电商项目,功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等
《L03 构架 API 服务器》
你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程,JWT 概念及使用 和 API 开发相关的进阶知识。
讨论数量: 2

这么恐怖,阿里有赔偿么?

4年前 评论
CrazyZard (楼主) 4年前

用云服务就要接受风险,关键服务需要用物理机做补充。

4年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!