fix(gpu): #1970 MuseTalk worker 推理期心跳/超时 900/重试收敛/短视频前置失败

- GPU_TASK_TIMEOUT_SECONDS 默认 300→900（base.py + env 模板），worker REQUEST_TIMEOUT 默认同步 300→900，RTX2060 6G 处理 720p 长视频不再超时 - worker 新增 TaskHeartbeat daemon 线程：任务处理期间每 30s POST /gpu/register(task_id=...) 续任务心跳，服务端只在任务心跳真正停滞超过 900s（崩溃/断网）或 worker 明确上报 failed 时才回退 pending，长推理阻塞主循环不再导致误回退 - register schema/service 支持 task_id：_touch_task_heartbeat 只刷新属于该 worker 且仍 processing 的任务，已完成/已被回收重派的过期心跳忽略 - worker 本地 TASK_MAX_RETRY 2→1，且仅对瞬时错误（连接失败/超时/5xx）重试； 4xx、结果过小等确定性失败不本地重试，服务端 MAX_ATTEMPTS=3 不变，消除 3×3=9 次推理放大 - <3s 输入视频（MuseTalk division by zero）下载后 ffprobe 前置校验，直接上报 failed"视频过短"，不调用推理；ffprobe 不可用时不拦截 - 新增 11 个单测（worker 独立脚本按路径加载），全量 15839 passed
2026-09-19 14:29:22 +08:00
parent a1f25a4426
commit a8f1069cd2
12 changed files with 514 additions and 59 deletions
@@ -89,8 +89,9 @@ SaaS 后端部署完成后需配置：
 | 日志 `MuseTalk 健康检查未通过` | 本地 MuseTalk 没启动，或端口不是 7861；`curl http://127.0.0.1:7861/health` 验证 |
 | 任务长时间不被拉取 | Worker 和服务端连不上；检查 API_BASE_URL 是否可达、Token 是否正确 |
 | 推理后上传 OSS 失败 | 本地出口网络被防火墙拦截 OSS 域名（oss-cn-hangzhou.aliyuncs.com） |
-| 服务端看到任务回退到 pending 重试 | Worker 心跳超时（默认 5 分钟）；Worker 进程崩溃或推理卡死超过 5 分钟 |
-| 日志 `MuseTalk 推理超时` | 视频太长或显存不足；可临时调大 REQUEST_TIMEOUT，或限制输入视频时长 |
+| 服务端看到任务回退到 pending 重试 | 任务心跳真正超时（默认 900s）：Worker 进程崩溃/断网，或推理彻底卡死；正常长推理期间心跳线程每 30s 续期，不会回退 |
+| 日志 `MuseTalk 推理超时或连接失败` | 视频太长或显存不足；可临时调大 REQUEST_TIMEOUT（服务端 GPU_TASK_TIMEOUT_SECONDS 需同步调大），或限制输入视频时长 |
+| 日志 `视频过短（x.xxs < 3s）` | 输入视频不足 3s，MuseTalk 对短视频会 division by zero，已在本地直接上报失败；可用 MIN_VIDEO_DURATION_SECONDS 调整阈值 |

 ## 七、安全注意事项