公開動態與原創分析 · 消息日期: · 消息來源
在一次 ChatGPT 圖片請求故障中,Codex 追查到圖片下載出錯。另一輪 Codex 複查時發現,負責定位檔案的內部服務早已恢復,但圖片請求仍失敗。原先的說法解釋不了故障後半段,流程於是重新開啟調查。OpenAI 於 11 月 19 日發表工程文章,藉此介紹已在內部運作的效能調查系統 Performance Factory。

依 OpenAI 說明,效能告警會建立一張任務單,保留調查和修正進度。Codex 可以提出程式碼變更,由工程師決定是否合併與部署。部署完成後會啟動另一次執行,檢查受影響的指標是否回到原有基準。OpenAI 統計,三個多月內追蹤逾 1,700 次調查,為逾 600 個案例找到原因。文章另提到人工抽查 100 個根因建議,70% 判為準確,其餘需要補充或未充分建立因果關係。兩組數字的用途不同,後一個樣本有助理解流程為何另安排一輪複查。
依版本與請求類型比對延遲
延遲告警經常晚於指標開始惡化的時間。超過門檻後,值班人員可能先翻最近部署的變更。若新版只先開放給少數客戶,程式碼提交時間可能遠早於請求實際受到影響的時間。找出首批受影響的請求何時出現,以及哪些仍在舊版執行,才能從幾個看似合理的解釋中往下查。
假設一套採購平台發現,月底最慢的一批報價確認請求等得更久。這時附多個檔案的報價增多,附件處理的新版本也剛好向部分租戶試行。可以按附件大小、租戶與實際執行版本分組。若新舊版本處理相同大小的附件都與上週差不多,只是大檔案占比提高,應先看佇列和處理量能。若同樣大小的附件只有在新版明顯變慢,就應查那批請求各步驟的耗時,並比較仍使用舊版的租戶是否也有變化。
第二種情況仍有其他解釋。參加試行的租戶可能剛好在月底大量上傳,當時的負載便會不同。複查可以要求指出原說法無法解釋哪些請求,以及關閉試行後同一組請求的表現。把觀測時段、分組、版本資料和待排除的可能原因放在工單,附上原始監測資料,下一班就能重做對照,知道哪裡要繼續查。
部署後怎樣判定恢復
合併程式碼代表變更進入發布程序。採購平台真正卡住的環節,可能在頁面確認、附件解析,或產生簽核紀錄的背景作業。平均延遲即使下降,附件若持續排隊,簽核人員還是得等同樣久。Google 的《SRE 實務手冊》討論小流量試行時,也提醒要考慮對照組與試行組的環境差異。若共用下游服務,兩組都可能被同一個瓶頸拖慢。動手前宜約定哪些請求和業務結果要重新量測,例如在相近負載下,取同一附件大小區間,比較確認等待及簽核紀錄可用的時間。
也要記錄觀測期間有沒有調低同時處理的請求上限、暫停大檔上傳或轉移客戶流量。這些暫時措施可以減輕等待,也會改變比較條件。若只恢復一部分,應記下哪些請求已好轉、哪些仍慢,以及保護措施何時撤回。樣本不夠時先保留待確認狀態,等下一個相近的業務尖峰再量。這樣才能把值班當下的處置與工程上是否結案放在同一條時間線。
可以先選一種反覆發生、有指標可查,也能把版次連到業務結果的告警。給 Agent 唯讀權限,重查一批歷史工單,記錄人員花多少時間核對資料,有多少初步判斷經複查被推翻。發布仍由服務負責人決定。若工單根本缺少部署時間,儀表板也只有全站平均值,先補請求與版本的關聯,再做一個可重跑的對照查詢。對偶爾出現的問題,這樣往往已足夠。當複查人員能依同一組資料重做判斷,也能在改動後說清楚哪些客戶恢復,再擴大自動化就有較具體的理由。
消息來源
墨客雲編輯部 · neo@mokyun.com
