连知名服务也会宕机

"服务器崩溃了""网站挂了",你经常在新闻中听到这些话,但实际上发生了什么?即使是世界上最大的服务也发生过故障。而且原因往往出人意料地平凡。

著名的服务故障事件

Facebook 6 小时宕机(2021 年 10 月)

Facebook、Instagram 和 WhatsApp 完全离线约 6 小时。原因是维护作业中执行的一条命令。根据 Facebook 技术博客(2021 年 10 月 5 日)的说明,一条用于评估骨干网容量的命令意外断开了骨干网的全部连接,导致各站点撤回了 BGP 路由通告。

结果,Facebook 的网络从互联网上"消失"了,DNS 域名解析也停止工作。更糟糕的是,DNS 失效导致许多内部工具无法使用,工程师们失去了访问和修复问题的手段。最终,他们不得不亲自前往数据中心手动恢复服务器。

AWS 重大故障(2017 年 2 月)

Amazon Web Services 北弗吉尼亚(US-EAST-1)区域的 S3(存储服务)宕机约 4 小时,影响了 Netflix、Slack、Trello 等众多服务。原因是一名工程师在调试时输错了命令,关闭了比预期更多的服务器。

这次故障的讽刺之处在于,用于更新 AWS 故障信息页面(Service Health Dashboard)的管理控制台依赖于 S3,所以他们无法更新各项服务的状态。

Cloudflare 故障(2022 年 6 月)

CDN 服务 Cloudflare 发生故障,影响了 Discord、Shopify、Fitbit 等众多服务。原因是在部分站点进行的网络配置变更。

Google 47 分钟全面服务中断(2020 年 12 月)

许多 Google 服务,Gmail、YouTube、Google Drive、Google Maps 等,约 47 分钟无法使用。原因是自动配额系统错误地下调了用于认证的账户数据库的配额。所有需要登录的服务都受到了影响。

网站宕机的主要原因

  • 流量激增(过载):热门票务开售、促销活动或突发新闻带来的访问量激增超过了服务器的处理能力
  • 配置错误(人为失误):工程师失误导致的故障并不少见。Facebook BGP 事件和 AWS S3 事件都是人为失误
  • 软件 Bug:更新中包含的 Bug 在生产环境中被发现
  • DDoS 攻击:故意向服务器发送大量流量使其瘫痪的攻击
  • DNS 故障:当 DNS 崩溃时,即使服务器本身正常运行,用户也无法访问网站
  • 证书过期:当 HTTPS 证书过期时,浏览器会显示警告并阻止访问
  • 物理故障:数据中心停电、冷却系统故障、海底光缆切断

如何检查网站是否"宕机"了

当你无法访问某个网站时,有方法可以判断是你的连接问题还是网站的问题。

  • Downdetector:实时汇总全球用户故障报告的网站
  • isitdown.site:从全球各地检查指定 URL 是否可访问的网站
  • IP 确认酱:首先验证你自己的互联网连接是否正常。如果显示了 IP 地址,说明你已连接到互联网
  • 从不同设备或网络尝试:尝试通过智能手机的移动数据连接访问

总结

即使是世界上最大的服务,也可能因为一个配置失误而宕机数小时。网站故障的原因从流量激增、人为失误到 DDoS 攻击和 DNS 故障不等。下次无法访问某个网站时,先在 IP 确认酱上检查你的连接,然后在 Downdetector 上查看网站端的故障信息。

本文相关术语

DNS DNS 故障即使服务器正常也会导致网站无法访问。2021 年 Facebook 故障的主要原因。 BGP BGP 配置错误导致 Facebook 的整个网络"消失"。 IP 地址 检查网站是否宕机的第一步是验证你自己的 IP 地址能否正常获取。 HTTPS 证书过期是一个出人意料地常见的网站故障原因。

常见问题

Facebook停机6小时的原因是什么?

2021年10月,工程师的BGP配置错误导致Facebook所有BGP路由被撤回,网络从互联网上"消失"。内部工具也无法使用,不得不亲自赶到数据中心恢复。

有办法确认网站是否宕机吗?

可以在Downdetector查看故障报告,或通过IP确认酱确认自己的连接是否正常。用其他设备或移动网络尝试也有效。

网站宕机最常见的原因是什么?

流量激增(过载)、工程师配置错误(人为失误)、软件Bug、DDoS攻击、DNS故障、证书过期等是主要原因。