OpenAI 在 Responses API 推出后台响应功能的公开测试,允许开发者为 GPT-6.2 Astra 和 Sol 的后台任务设置完成时间窗口。
价格机制 跟标准模式比,选 2 小时窗口降价 30%,选 8 小时窗口降价 40%。后续请求复用 continuation ID 还能拿到更高的队列优先级。本质上是在卖排队权——你愿意等,它就把闲时算力便宜卖给你。
这是很成熟的商业设计 推理负载有明显的波峰波谷,白天挤爆、凌晨空闲。按延迟敏感度分层定价,既提高了 GPU 利用率,又扩大了可服务的客户范围。云计算的抢占式实例、Spot 实例是同一个逻辑。
哪些任务适合切成后台 批量文档处理、离线数据清洗、夜间跑的评测集、报告生成、代码库的全量扫描与索引。这些任务的共同点:结果不是人坐着等的,晚几小时没关系。反过来,任何在交互链路里的调用——客服回复、代码补全、实时问答——都别碰这个模式。
工程上要注意三件事 第一,任务幂等。后台任务可能被重试,你的处理逻辑必须能承受重复执行。第二,超时与兜底。8 小时窗口是上限不是承诺,要有降级路径。第三,结果落地要有时序标记,别让不同窗口返回的结果乱序覆盖。
一个算账提醒 40% 的折扣看着诱人,但如果你的任务本来只需 30 秒,为了省 40% 引入一套异步轮询、状态存储、失败重试的工程复杂度,人力成本远超省下的 token 钱。只有量大到一定规模,这笔账才算得过来。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。