紧急IP切换:记一次因域名备案丢失引发的事故处理复盘
事情刚刚处理妥善,简单来说,就是一次运维安全事故。事情的经过大概是这样,某位工作人员接到任务,要求新增域名备案,在接到任务后,在上级的指导下,了解了备案的流程,于是交给该工作人员进行备案。结果在备案的过程中,由于备案信息的变更,导致需要重新提交资料,最后备案下来的时候,把老域名的备案搞丢了。而要命的是,该域名直接跟业务产生关联。
事故发生后,立即进行了这几项紧急操作:
1、紧急发布更新版本
由于备案丢失后,http无法正常访问,但是https尚可,因此,技术团队决定将URL切换到https上面来。尽可能小的不影响原有的URL结构,但是客户之前的二维码是无法正常识别的。
2、在香港部署一台镜像服务器
因为使用的是二级域名,因此决定在香港部署一台镜像服务器,然后将域名解析切换到香港。在不改变原有结构的情况下,URL能够正常访问,即使是http也能正常访问,原有客户的二维码不受影响。
3、域名解析指向镜像服务器
这一步操作相对来说要简单,在深夜的时候只需做好镜像服务器的域名指向。即完成了整个紧急事故的处理。
整个操作下来,严格来说,耗时几个小时。完成了一次紧急的事故处理。但是通过这件事情,还是存在很多不足:
1、相关工作人员的专业性不够
2、上级领导的监督不够仔细
3、没有完整的紧急事故处理预案