第1110章 生死七日!(2/3)
如果事情有变坏的可能,不管这种可能性有多小,它总会发生
4月23日,凌晨三点
整个城市都在沉睡,只有路灯和柠檬科技【支付中心】的灯还亮着
陆向阳刚在办公室的沙发上迷糊过去,梦里他正和顾一心正在洽谈新一轮投资入股,突然一阵急促的敲门声把他拽回了现实
门没锁,姜红颜直接冲了进来,这段时间里,她也带着团队在配合支付渠道开发的事情:
“陆总!出事了!”
陆向阳猛地坐起来,薄毯滑落在地,他揉了一把脸,眼神瞬间清明:
“怎么了?”
“压力测试崩了!”
姜红颜声音微微发颤:“就在刚才,模拟双十一峰值流量注入,数据库连接池瞬间爆满,所有交易请求全部卡死,系统瘫痪了!”
“多久了?”
陆向阳一边穿鞋一边往外走
“十二分钟!已经波及到了线上的一小部分测试商户,有几笔订单出现了状态异常”
两人一路小跑冲进十九楼的监控中心
监控大屏上,原本平稳的绿色曲线突然断崖式下跌,紧接着是一片刺眼的红色警报,错误日志像瀑布一样疯狂滚动
张亮站在指挥台前,背对着门口
“切断流量入口!快!”
“重启接入层三号集群!”
“把非核心业务查询流量切到备库,给主库让路!”
他的声音沙哑,但指令清晰,没有一丝慌乱
底下的工程师们手指在键盘上飞舞,没有人说话,只有此起彼伏的键盘敲击声和沉重的呼吸声
陆向阳站在门口,没进去打扰
这时候,外行指挥内行是大忌,他只需要站在这里,做他们的定海神针
五分钟后,大屏上的红色警报开始变黄
半个小时后,曲线开始缓慢回升,虽然还在波动,但至少有了心跳
张亮长出了一口气,晃了一下
他松了松格子衫领口,后背已经被汗水浸透,贴在身上
回过头,看见了陆向阳
张亮苦笑了一声,拿起桌上的半瓶矿泉水猛灌了一口:
“陆总,比预想的来得早,我以为这套架构能撑到五月”
陆向阳这才走了过去,轻轻笑了下:“其实这是好事,现在崩,总比上线那天崩要好真要等到用户拿着手机付不了钱,那才是灾难”
“但这次暴露的是致命问题”
张亮盯着屏幕上还在跳动的数据,眼神阴郁:
“数据库设计有先天缺陷,为了追求读写速度,我们把太多业务逻辑放在了数据库层一旦并发量上来,竞争太激烈,会直接锁死”
“解决方案呢?”陆向阳问
“只有改!而且是大改,得动底层表结构,把业务逻辑往上层应用搬,数据库只