任何时候都要对每个服务保持警惕

现象

下午4点半左右,客服陆陆续续表示几个账户无法登陆系统,反馈到技术部的时候,已经有大量的客服反应了!

过程

通过查看日志信息
要对任何服务保持警惕
查了一些资料,但是并不能解决当前的问题!因为我们用的是阿里云的 redis 4G集群版,所以查看了 redis 的容量,但是只是用了 2.3G, 程序写入报command not allow when used memory > maxmemory
但是实际使用内存没有触达 maxmemory,无解情况下,我们升级了内存,但是升级并不顺利(升级了好久),无奈情况下提交了工单!阿里云告诉我们:其中一个分片内存使用率达到了100%导致
但是并没有给我们提供解决时间,等待许久仍无法解决,无奈之下只能申请了一个新的实例

结论

在任何一个生产环境中,我们要对任何服务保持警惕,保证任何情况下,每个服务出现问题的时候,需要一个永远都用不上的 Plan B !!!

本作品采用《CC 协议》,转载必须注明作者和本文链接
快乐就是解决一个又一个的问题!
CrazyZard
《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
《G01 Go 实战入门》
从零开始带你一步步开发一个 Go 博客项目,让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。
讨论数量: 2

这么恐怖,阿里有赔偿么?

5年前 评论
CrazyZard (楼主) 5年前

用云服务就要接受风险,关键服务需要用物理机做补充。

4年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!