公开动态与原创分析 · 消息日期: · 消息来源
一次 ChatGPT 图片请求故障中,调查用的 Codex 把失败归因于图片下载出错。负责复查的另一轮 Codex 发现,定位文件的内部服务已经恢复,图片请求却还在失败。这个解释无法覆盖故障后半段,于是任务被重新打开。OpenAI 在 11 月 19 日的工程文章里用这个例子介绍 Performance Factory。这是团队用于调查性能问题的内部系统,文章披露了已经运行的流程。

OpenAI 说,流程以性能告警为起点,在任务里记录调查和修复进展。Codex 可提出代码修改,工程师决定是否合并和部署。部署事件会唤起另一次运行,检查受影响指标是否回到先前基线。公司还披露,三个多月追踪了逾 1,700 次调查,为逾 600 个案例定位了原因。这是 OpenAI 对内部运行的统计。文章另提到人工抽查 100 个根因建议,有 70% 被判为准确,其余仍需补充或未充分建立因果关系。两组数字的分母和用途不同,后者适合用来理解为何流程安排了专门的复查。
按版本和请求类型定位变慢范围
告警时间经常晚于指标开始变坏的时间。延迟超过阈值以后,值班人员容易先翻最近上线的提交。若改动只发给一小部分客户,提交时间和真正影响请求的时间可能相隔很久。调查需要知道首批受影响请求何时出现,以及哪些请求还在使用旧版本。缺少这两个时间点,按顺序查提交往往能找到几个看起来合理的解释,继续区分它们却很费力。
假设一套采购平台在月末发现,报价确认页面最慢的一批请求等待更久。它同期增加了带多张附件的报价,附件处理又恰好在部分租户试用新版。先按附件大小、租户和实际运行版本分组,能看出同类请求是否变慢。若旧版和新版处理同等大小附件都与上周相近,只是大附件占比上升,团队应先看批量队列或附件处理能力。若同等附件的等待只在新版租户抬升,就应查看这批请求的分段耗时,以及尚未升级的租户有无同样变化。
后一种情况也可能有别的原因。参与试用的租户可能恰好在月底集中上传,导致同一时段的负载不同。复查任务可以明确要求指出解释不了的请求,并查看关闭试用后的同组表现。此时对照样本和分析窗口的定义,比多写一份摘要更能帮助下一班值班人员判断该查哪里。团队可以要求 Agent 把查询时段、分组规则、版本证据和待排除的情形写进工单,链接回原始观测资料,便于人接手。
部署后的恢复判据
合并代码只说明工程改动已经进入发布流程。采购平台的例子里,团队还要知道慢的是页面确认、附件解析,还是后台迟迟未生成供审批的记录。即使总体接口延迟下降,附件队列仍在堆积,审批人收到的记录也可能照样晚。谷歌《SRE 实战手册》讨论小流量试发时,也提醒团队考虑对照组和试发组的环境差异。两组还可能被同一个下游瓶颈拖慢。应在改动前约定要复查的请求群和业务结果,例如相同附件大小区间内的确认等待与审批记录的可用时间,部署后再在相近负载下量一次。
对比期间还需要记录是否调低了并发限制、暂停了大文件或切换了客户流量。临时措施能缓解等待,也会改变对照条件。只恢复一部分时,最好记录哪些请求恢复、哪些仍慢,以及保护措施何时撤回。样本不足时保留待确认状态,下一个业务高峰再复查。这样可以把值班层面的止损与工程层面的结案放在清楚的时间线上。
这套办法的起点可以很小。优先选每周反复发生、已有指标、能串起版本和业务结果的一类告警。让 Agent 用只读权限复查一批历史工单,比较它提交证据所需的人工时间,以及有多少判断随后被复查推翻。发布权限继续由工程负责人掌握。若工单缺部署时间、指标只能看到全站平均值,先补日志关联和一个可重跑的对照查询,便能直接减轻下一次排查工作。对偶发问题,这些工具往往已够用。值得扩展自动化的信号,是复查人可以用同一组证据重做判断,并在改动上线后说清究竟哪批用户恢复了。
消息来源
本页内容由 墨客云AI(南京薄幕软件科技有限公司)发布与维护。 咨询与场景诊断预约:180-1290-1065 · neo@mokyun.com
