臉書Facebook全球大當機五小時事件懶人包 by Clement Tang

0 0 votes
Article Rating

這次台灣時間凌晨 (北美時間約接近中午) Facebook 及相關服務包含 Instagram、Messenger、WhatsApp 及 Oculus 連線異常,影響約 30 億人每天使用的網路服務。

此外,根據內部員工線報指出,Facebook 許多內部系統也受影響,除了 Email 和行事曆未受影響還能使用外,包含內部的協作用 Workplace、會議預約系統、門禁系統都受影響。

截至目前為止,異常的真實原因還未公佈,不過從一些狀況以及網路骨幹服務相關的公司調查可發現這次異常與負責將大範圍子網連結起來的路由協定 BGP (Border Gateway Protocol) 有關。

Facebook 連線異常 5 小時,麻瓜版解釋

大部分人無法記憶別人的電話號碼,所以當我們要聯繫一個人時要翻通訊錄,或者是古早時代厚厚的黃頁電話簿,找到電話號碼後才能聯繫對方。

整個網路的運作可以想像或簡化成是許多通訊錄或電話簿的互相連結,最終組織成一個複雜的網絡。當你在位於台北市信義區的茫茫人海中要聯絡世界另一端的另一人時,你要先從信義區的電話簿找到台北市的電話簿,再從台北市的電話簿查找到整個台灣的電話簿,而從這個網絡般的通訊錄海中最終能找到你要的電話,讓你打過去給對方。

而本次 Facebook 的異常就是負責連結好幾個電話簿的主要目錄消失了,導致大家試圖聯絡 Facebook 這個人時 (使用 Facebook 的相關服務時) 卻找不到電話號碼,讓它彷彿人間蒸發一樣消失。由於這個主要的大目錄是由 Facebook 自己維護的,因此也只有 Facebook 有能力讓它回到正常運作。

昨天晚上在人妻的 Clubhouse 房有人問到手遊怎麼也不能玩了?我猜測應該是手遊本來就大幅仰賴 Facebook 廣告,所以除了有用 Facebook Login 外可能在一開啟還會利用 Facebook SDK 做一些事但沒有設想到 Facebook 會大規模連線異常所以就卡死在那邊了。

目前的推測應該是一次例行性的 BGP 遠端更新,結果因為不明原因導致失敗或異常,連鎖反應讓 Facebook 的工程師遠端也無法連進去,就像你出門結果鑰匙留在家裡一樣。

總之,這次事件我想事後檢討應該會滿精彩的,目前有看到 Cloudflare 在部落格寫一篇文章了,先放在留言。

當機事件原因 總懶人包

Facebook 基礎建設 VP 出來解釋了,不算很詳細的 postmortem 但對於整體狀況有了大致的說明。

1. FB 本來就會執行例行的資料中心軟硬體維護,有時候要裝新的纜線或更新路由器的韌體之類,通常在執行時會暫時中斷局部的骨幹網路。

2. 昨天的事件是在執行類似的維護程序時,下了一個沒有被檢查工具給抓到 (工具有 bug) 的有問題的指令,這指令原本的目的是要檢測全球骨幹網路的可用性,但卻意外造成全球骨幹網路中斷使資料中心還有伺服器與網際網路間的連線中斷。

3. 此外還造成了第二個問題。在正常情況下,如果發現資料中心連線異常,那 DNS 伺服器會關閉 BGP 廣播來控制問題擴大。但昨天的事件讓整個骨幹網路都中斷了,因此原先的中斷機制反而讓 BGP 全面停止廣播而導致從網際網路看起來就像整個 FB 都消失了。

4. 以上問題在短時間內連鎖反應發生,當工程師試圖排除問題時,也被內網無法連線以及各種內部工具因為本身也需要連線而阻礙。

5. 於是 FB 只好派出工程師前往主機跟資料中心現場處理問題,文中有提到 “these facilities are designed with high levels of physical and system security in mind” 不知道是不是就是謠傳需要破門的狀況。總之工程師進去後,資料中心的設計本來就讓現場調整設定比較困難,這邊又花了許多時間,最後才好不容易把骨幹網路重新恢復。

6. 網路恢復後又是下一輪挑戰,因為全球的流量會瞬間湧入,部分資料中心會在短時間有高達數十兆瓦的電力承載,對於機房的硬體和電力系統會造成額外的傷害與風險。所幸 FB 表示平常有做類似的災難復原演練,所以各區域以及不同服務的系統就依照演練逐步恢復。不過,FB 也說他們從未演練過這麼大規模的全球骨幹網路異常,因此未來也會檢討並優化演練。

我自己認為這沒有陰謀論啦,代價是市值蒸發 $6B 以及減損品牌形象的結果我認為不大可能是為了要掩蓋什麼。再者,FB 有六萬員工,要耍這種手段根本紙包不住火,你看連才任職一年多的員工都能幹走一堆內部文件當吹哨人了。

0 0 votes
Article Rating
Subscribe
Notify of
guest
0 Comments
Inline Feedbacks
View all comments
開戶瑞士銀行帳號離岸美元帳戶
輕鬆獲得12種國際貨幣的銀行卡 你有在投資海外嗎? 現在就線上申辦瑞士銀行帳號
0
Would love your thoughts, please comment.x
()
x
投資168
Logo
Shopping cart