fix(P0): gpu-encoder 冷启动防护 — pre-warm + 首字节短超时兜底 #2072

Merged

auto-approve-bot merged 4 commits from fix/p0-gpu-encoder-cold-start-guard into develop 2026-09-28 00:08:51 +08:00

Conversation 2 Commits 4 Files Changed 1

+97 -11

xiaoxia commented 2026-09-27 23:14:12 +08:00

Owner

Copy Link

Copy Source

P0 背景

2026-09-27 staging 观测到 job a15a4667：worker 14:10:26 完成mezzanine上传并POST P4000，但P4000直到14:12:55才GET mezzanine，空等149.6s，ffmpeg实际只跑3.2s。

69个历史job仅1个>1s延迟（其余<0.34s），长时间空闲后TCP握手仍~10ms，无法稳定复现。疑为Tailscale DERP打洞/httpx连接池重建偶发卡顿。

修复（worker客户端兜底）

在 packages/shared/gpu_encoder.py 加两层防御：

1. pre-warm预热：距上次成功通信>60s时，POST前先GET /health（3s短超时）打通Tailscale链路；预热失败不阻塞主流程。
2. 两阶段超时：POST首字节用post_first_byte_timeout（默认20s，可配），链路卡死快速失败让调用方fallback到CPU；首字节到达后放宽到ffmpeg_timeout+60s。错误信息区分首字节/编码阶段超时。

check_health() 在healthy时刷新_last_ok_ts。

新增配置（均有默认值）

• gpu_encode_pre_warm (bool, 默认true)
• gpu_encode_post_first_byte_timeout (float, 默认20.0s)

服务端根因待继续

P4000 SSH未打通，拿到后看 /home/ying/p4000-encoder/server.py 的 httpx timeout/limits、asyncio.Lock、DNS resolver、uvicorn worker数，服务端修复另提PR。

## P0 背景 2026-09-27 staging 观测到 job a15a4667：worker 14:10:26 完成mezzanine上传并POST P4000，但P4000直到14:12:55才GET mezzanine，空等149.6s，ffmpeg实际只跑3.2s。 69个历史job仅1个>1s延迟（其余<0.34s），长时间空闲后TCP握手仍~10ms，无法稳定复现。疑为Tailscale DERP打洞/httpx连接池重建偶发卡顿。 ## 修复（worker客户端兜底） 在 packages/shared/gpu_encoder.py 加两层防御： 1. **pre-warm预热**：距上次成功通信>60s时，POST前先GET /health（3s短超时）打通Tailscale链路；预热失败不阻塞主流程。 2. **两阶段超时**：POST首字节用post_first_byte_timeout（默认20s，可配），链路卡死快速失败让调用方fallback到CPU；首字节到达后放宽到ffmpeg_timeout+60s。错误信息区分首字节/编码阶段超时。 check_health() 在healthy时刷新_last_ok_ts。 ## 新增配置（均有默认值） - gpu_encode_pre_warm (bool, 默认true) - gpu_encode_post_first_byte_timeout (float, 默认20.0s) ## 服务端根因待继续 P4000 SSH未打通，拿到后看 /home/ying/p4000-encoder/server.py 的 httpx timeout/limits、asyncio.Lock、DNS resolver、uvicorn worker数，服务端修复另提PR。

xiaoxia added 1 commit 2026-09-27 23:14:15 +08:00

fix(gpu-encoder): add pre-warm + first-byte short timeout to guard against P4000 cold-start 150s stalls ... 114ce95c04

P0 issue: 2026-09-27 staging job a15a4667 observed 149.6s delay between worker POST and P4000
starting mezzanine download (nginx access log confirmed GET mezz at 14:12:55 vs POST at 14:10:26).
Root cause is server/network-side (likely Tailscale DERP hole-punching or httpx connection pool rebuild
after long idle), hard to reproduce on demand. This client-side fix adds two layers of defense:

1. pre_warm: before POST, if idle >60s since last successful comm, send a GET /health with 3s timeout
to warm the Tailscale path. Failure is non-fatal; POST proceeds anyway.
2. post_first_byte_timeout (default 20s): split POST timeout into two phases — first byte uses short
timeout so a stalled link fails fast and caller can CPU-fallback; after first byte, relax to
ffmpeg_timeout+60s for real encode+upload. Both configurable via settings.gpu_encode_pre_warm /
settings.gpu_encode_post_first_byte_timeout.

Also updates check_health() to refresh _last_ok_ts on healthy response.

gitea-actions bot commented 2026-09-27 23:15:53 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#2072
预览链接	https://pr-2072.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #2072 | | 预览链接 | [https://pr-2072.preview.xiaoxiajianji.com](https://pr-2072.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot added 1 commit 2026-09-27 23:24:57 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] 3eba883ab6

xiaoxia added 1 commit 2026-09-27 23:43:01 +08:00

fix(gpu-encoder): harden resp.fp mock compat + keep "connection error" keyword in timeout msg for test compat 5eb57c6fa6

auto-approve-bot added 1 commit 2026-09-27 23:58:31 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] 0bdffda8e0

auto-approve-bot merged commit 8abdeb9551 into develop 2026-09-28 00:08:51 +08:00

auto-approve-bot deleted branch fix/p0-gpu-encoder-cold-start-guard 2026-09-28 00:08:53 +08:00

gitea-actions bot commented 2026-09-28 00:09:30 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #2072 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #2072 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this pull request 2026-09-28 01:27:03 +08:00

fix(quality): classification_status 赋枚举值而非裸字符串 + 仓储层防御 (#2079) #2080

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#2072