企业应急预案 香港cn2线路故障 下线风险与业务切换方案

1. 概述：香港 CN2 线路故障的下线风险与影响评估

- 风险描述：CN2 为运营商（如中国电信）对外优质专线，故障导致香港节点到内地与海外路径丢包、延迟剧增或完全不可达。
- 影响面：影响网站、API、实时音视频与认证服务，可能出现 50% 以上请求超时。
- 常见指标：RTT 从平时 30ms 上升到 200~800ms，丢包率超过 5% 即影响体验，超过 20% 需立即切换。
- SLA 与业务：关键业务目标 RTO ≤ 15 分钟，RPO ≤ 5 分钟。
- 风险优先级：按影响人数、收益与安全等级分级，优先处理支付、登录、实时通信等关键路径。
- 说明：本段为总体风险评估，为下文策略与流程做基础。

2. 监测与预警机制（Detect）

- 被动监测：通过 nginx/haproxy 日志和应用监控（Prometheus + Alertmanager）检测 5xx 增长与 TPS 下降。
- 主动探测：外网探针（腾讯云、阿里云、新加坡/日本节点）每 10s 发起 TCP/ICMP/HTTP 探测，记录 RTT 与丢包。
- 告警规则：连续 3 次探测 RTT >150ms 或丢包率>5% 触发一级告警；同时短信/电话/企业微信通知值班工程师。
- 指标样例：正常 RTT 30±10ms；告警阈值 RTT>150ms、丢包>5%、错误率>2%。
- 自动化：使用自愈脚本（如 healthcheck -> 切换流量到备用节点）与人工确认并行。
- 日志保留：故障期间所有探测日志与 BGP 路由变化记录保存 90 天，便于事后分析。

3. 切换策略（Switch）—— DNS/BGP/CDN/应用层多重保障

- DNS 级切换：主域名 TTL 设为 60s，出现故障时将解析指向备用机房或 CDN 加速域名；使用 DNSFailover 服务。
- BGP/链路级切换：与第二条国际链路（如非 CN2 的 Telecom/Unicom 备线或 AWS/GCP 直连）做 BGP 冗余，优先级通过 MED/Local Pref 控制。
- CDN 覆盖：关键静态资源与部分 API 通过 Anycast CDN（Cloudflare/阿里云 CDN）缓存，降低源站依赖；启用回源重试与智能回源。
- 应用层降级：实时业务可做低码率降级、静态化页面缓存或引导页，保证基本功能可用。
- 自动化流程：故障触发后自动执行：降低 TTL->更新 DNS->流量切换到备用 BGP/备份机房->通知运维。
- 回滚策略：问题恢复后按逐步回流策略（流量 10% 递增）观察 30 分钟无异常再完全回切。

4. 真实案例：某在线教育公司 HK CN2 故障应急实战

- 事件概述：2024-03-12 09:12，香港 CN2 中继链路发生丢包，导致大量课堂视频卡顿与连接超时。
- 监测数据：10:00~09:20 丢包率上升至 35%，RTT 从 40ms 跳升到 480ms，API 错误率从 0.3% 提升到 8%。
- 处理过程：值班工程师启动应急预案，10:25 触发 DNS 切换（TTL=60s），10:37 替换为备用 BGP 线路并开启 CDN 缓存回源。
- 结果：总体恢复耗时 12~25 分钟不等，课堂中断率在切换后 5 分钟开始下降，30 分钟内恢复到 95% 可用。
- 经验教训：需提前测试 DNS 切换与 BGP 切换的联动，完善备用链路容量以应对峰值流量。
- 备忘：事件留下完整路由表、BGP 更新记录与探针日志，作为后续 CAPEX/供应商 SLA 谈判依据。

5. 服务器与网络配置示例（配置表与示例）

- 说明：下面给出主/备服务器与链路配置示例，供演练时参考。
- 主机（香港 CN2）配置示例：8 vCPU、16GB RAM、200GB NVMe、1Gbps 公网带宽、BGP CN2，操作系统 Ubuntu 22.04。
- 备机（新加坡/内地公网）配置示例：4 vCPU、8GB RAM、100GB NVMe、1Gbps 公网带宽、BGP 非 CN2 备线。
- 健康探针：HTTPS 443、API 返回码 200 检查，间隔 10s，超时 5s，连续失败 3 次视为不可用。
- 表格示例（主/备机房规格对比）：

6. 应急流程、职责与演练建议（Operate & Improve）

- 流程步骤：检测->告警->自动化切换->人工确认->回流->事后复盘。每一步需定义时间窗与负责人。
- 职责分配：SRE 负责切换执行，网络工程师负责 BGP 与链路，开发负责应用降级脚本，客服负责对外说明。
- 演练频率：建议每季度进行一次全链路切换演练（含 DNS 切换与 BGP 路由切换），并记录 RTO 实际值。
- 指标复盘：每次演练后检查切换成功率、平均切换时间、回滚次数与用户影响度。
- 持续优化：基于日志与 BGP 路由记录优化优先级、扩容备线与完善 CDN 缓存策略。
- 总结：以“最小可恢复集群”为目标设计冗余，确保在香港 CN2 故障时业务可在 15 分钟内降级或恢复。

来源：企业应急预案 香港cn2线路故障 下线风险与业务切换方案