fix(P0): 修复取消链路断裂，前端取消后 GPU 仍继续推理 #2009

Merged

auto-approve-bot merged 6 commits from fix/cancel-chain-propagation into develop 2026-09-22 01:24:08 +08:00

Conversation 2 Commits 6 Files Changed 13

+457 -35

xiaoxia commented 2026-09-21 22:14:14 +08:00

Owner

Copy Link

Copy Source

问题

前端点取消后 GPU 任务还在跑，取消链路断了：

1. cancel_job 只允许取消 pending/tts_processing/submitted 状态，processing 状态被拒绝
2. 即便取消成功，GPU 任务没有被标记取消，Worker 心跳检测不到
3. TaskHeartbeat 只发心跳不读响应，不知道任务被取消
4. _cancel_musetalk() 只在 HTTP 超时/连接失败时才调用

修复

• API 心跳响应增加 cancel_task 字段
• cancel_job 支持 processing 状态，同步标记 GPU 任务为 cancelled
• TaskHeartbeat 读取响应检测 cancel 信号，调用 /cancel 终止推理
• report_result 和 wait_for_result 正确处理 cancelled 状态
• Celery 异步任务不回退 MediaKit

测试验证

• Worker 处理 GPU 任务时用户点取消
• 最多 30s（一个心跳周期）后 GPU 推理被终止
• GPU 任务状态变为 cancelled，不回退 pending 重试

## 问题 前端点取消后 GPU 任务还在跑，取消链路断了： 1. cancel_job 只允许取消 pending/tts_processing/submitted 状态，processing 状态被拒绝 2. 即便取消成功，GPU 任务没有被标记取消，Worker 心跳检测不到 3. TaskHeartbeat 只发心跳不读响应，不知道任务被取消 4. _cancel_musetalk() 只在 HTTP 超时/连接失败时才调用 ## 修复 - API 心跳响应增加 cancel_task 字段 - cancel_job 支持 processing 状态，同步标记 GPU 任务为 cancelled - TaskHeartbeat 读取响应检测 cancel 信号，调用 /cancel 终止推理 - report_result 和 wait_for_result 正确处理 cancelled 状态 - Celery 异步任务不回退 MediaKit ## 测试验证 - Worker 处理 GPU 任务时用户点取消 - 最多 30s（一个心跳周期）后 GPU 推理被终止 - GPU 任务状态变为 cancelled，不回退 pending 重试

xiaoxia added 1 commit 2026-09-21 22:14:15 +08:00

fix: 修复取消链路断裂，前端取消后 GPU 仍继续推理 ... f55ea0100d

- API 心跳接口 POST /gpu/register 响应增加 cancel_task 字段
- 心跳时检测 GPU 任务是否已被用户取消，通知 Worker 终止推理
- cancel_job 支持 processing 状态，同步标记 GPU 任务为 cancelled
- gpu_worker.py TaskHeartbeat 读取心跳响应，检测到取消时调用 /cancel
- _handle_task 各阶段检查 cancelled 标志，取消时上报失败而非重试
- report_result 遇到 cancelled 状态的任务保持不变，不回退 pending
- wait_for_result 将 cancelled 视为终态，Celery 任务不回退 MediaKit

gitea-actions bot commented 2026-09-21 22:17:33 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#2009
预览链接	https://pr-2009.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #2009 | | 预览链接 | [https://pr-2009.preview.xiaoxiajianji.com](https://pr-2009.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot added 1 commit 2026-09-21 22:27:14 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] 3911050a34

xiaoxia added 1 commit 2026-09-21 23:54:53 +08:00

test: 适配 _register/register_worker 新返回值签名 ... 828c6703c1

取消链路修复后 _register 返回 (ok, cancel_task)，
register_worker 返回 (worker, cancel_task)，同步更新单测断言。

xiaoxia added 1 commit 2026-09-22 00:48:38 +08:00

test: 补取消链路单测 + 修复 SQLite 引擎连接池参数 ... f42fe18269

- 新增 test_gpu_lipsync_routes.py：register 透传 cancel_task、cancel 接受 processing
- gpu_lipsync_service 测试：心跳检测取消、cancelled 不回退 pending、wait_for_result 终态
- lipsync_service 测试（真实 SQLite）：cancel_job 同步取消 GPU 任务、非 gpu 前缀不动 GPU 表
- celery 测试：cancelled GPU 任务不回退 MediaKit
- worker 测试：TaskHeartbeat 检测 cancel 调 /cancel、取消上报不重试
- 修复 build_engine 给 SQLite 传 pool_size/max_overflow/pool_timeout 导致 TypeError

auto-approve-bot added 1 commit 2026-09-22 00:52:56 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] 3a0f1eba03

xiaoxia added 1 commit 2026-09-22 01:12:18 +08:00

test: 修复取消链路测试在全量跑时受 sys.modules 污染失败 ... 87dfed2f8a

全量跑时其他测试可能把 app.services.gpu_lipsync_service 换成 MagicMock，
导致任务函数内 from...import 拿到污染对象。改用 monkeypatch.setitem
直接替换 sys.modules 模块项，并 patch _get_db_session 绕开双 import 分支，
确保测试在任何污染场景下都稳定。

auto-approve-bot merged commit f032152eaa into develop 2026-09-22 01:24:08 +08:00

auto-approve-bot deleted branch fix/cancel-chain-propagation 2026-09-22 01:24:11 +08:00

gitea-actions bot commented 2026-09-22 01:24:49 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #2009 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #2009 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#2009