NodeSeek压测事故复盘

NodeSeek压测事故复盘

起因

• 2024-04-15 0:00AM UTC+8 时在跟酒神站长吹水，提到了NS最近新升级的防火墙架构，加上前段时间与 @kejiloin 压测时进行不到10秒机器就进进黑洞了，在与酒神的聊天中酒神表示不信，并约定今日晚时开始进行压测
• 2024-04-15 19:27 UTC+8 双方开始准备压测环境
• 2024-04-15 19:28 UTC+8 NodeSeek全站实时日志已启用
• 2024-04-15 19:31:23 UTC+8 攻击发起 TLS攻击443端口 发起5k IP，攻击时长设定为60秒
• 2024-04-15 19:31:43 UTC+8 NodeSeek的防火墙提交2k 异常IP到云端block，仍有3K+ IP已绕开CloudFlare防火墙和自建防火墙攻击到了机房网关
• 2024-04-15 19:31:48 UTC+8 攻击仍在继续，论坛服务端负载开始降低，站点部分板块进入403状态
• 2024-04-15 19:31:59 UTC+8 论坛服务端负载回归正常水平，机房拉黑CloudFlare的IP，非CF IP访问正常
• 2024-04-15 19:32:03 UTC+8 攻击停止
• 2024-04-15 19:33:30 UTC+8 全站403
• 2024-04-15 20:02 UTC+8 机房释放CloudFlare IP
• 2024-04-15 20:03 UTC+8 全站恢复，开始导出攻击日志

事故分析

本次事故主要原因是cf的waf无法识别诱骗式发包攻击（先模拟正常的访问请求握手，然后开始小包大量攻击），后续考虑升级更高的waf规则进行拦截，后面将会增加回源入口，避免一个回源入口被打死造成全站不可用的情况

本次事故总造成NodeSeek宕机33分钟，在此我代替酒神站长向各位被影响的坛友们致歉