fix(voice-clone): 处理中卡死兜底 — worker重启/Celery消息丢失后processing永久卡住 #2050

Merged

auto-approve-bot merged 6 commits from fix/voice-clone-stuck-processing into develop 2026-09-26 15:31:08 +08:00

Conversation 2 Commits 6 Files Changed 7

+334 -40

xiaoxia commented 2026-09-26 11:35:22 +08:00

Owner

Copy Link

Copy Source

问题

声音克隆一直卡在「克隆处理中，请稍候...」状态

根因

worker 容器重启、进程 OOM 或 Celery 消息丢失时，processing 状态的 voice_clone_profile 无兜底恢复，对比 ingest 链路完全缺失。

修复

1. 仓储层新增 cleanup_stale_processing 方法（10分钟超时）
2. worker_ready 启动时扫描恢复卡死任务
3. Beat 每5分钟巡检兜底
4. 任务入口加 received 日志便于排查

## 问题 声音克隆一直卡在「克隆处理中，请稍候...」状态 ## 根因 worker 容器重启、进程 OOM 或 Celery 消息丢失时，processing 状态的 voice_clone_profile 无兜底恢复，对比 ingest 链路完全缺失。 ## 修复 1. 仓储层新增 cleanup_stale_processing 方法（10分钟超时） 2. worker_ready 启动时扫描恢复卡死任务 3. Beat 每5分钟巡检兜底 4. 任务入口加 received 日志便于排查

gitea-actions bot commented 2026-09-26 11:36:56 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#2050
预览链接	https://pr-2050.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #2050 | | 预览链接 | [https://pr-2050.preview.xiaoxiajianji.com](https://pr-2050.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

xiaoxia added 3 commits 2026-09-26 14:52:10 +08:00

fix(voice-clone): 处理中卡死兜底 — worker重启/Celery消息丢失后processing记录永久卡住问题 ... a33532113b

根因:
- 声音克隆走 API提交CosyVoice→Celery worker轮询5分钟→mark ready/failed
- 当worker容器重启、进程OOM或Celeryprefetch消息丢失时,已进入processing状态的voice_clone_profile没有兜底恢复机制
- 对比ingest链路有cleanup_stale_ingest_jobs beat任务+worker_ready启动恢复,voice_clone链路缺失
- 结果: 用户看到"克隆处理中，请稍候..."永久转圈,刷新也不变

修复:
1. SQLAlchemyVoiceCloneProfileRepository新增cleanup_stale_processing方法:
   扫描updated_at超过10分钟的processing记录(正常克隆<5分钟),标记failed并提示用户重试
2. _startup.py新增recover_stale_voice_clones_on_startup+worker_ready信号:
   worker启动时一次性扫描恢复,用户重启/部署后立即解锁卡死任务
3. cleanup.py新增scheduled_cleanup_stale_voice_clones beat任务:
   每5分钟巡检兜底,防止运行期OOM/消息丢失导致的新卡死
4. celery_app.py beat_schedule注册新任务
5. voice_clone.py任务入口加received日志,便于日志排查

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] 73068eb22c

test(voice-clone): 修复 _resolve_task 跨 Celery 版本鲁棒性 ... ce1bd8e7c7

- _get_current_object() 加 try/except 兜底，无 active app context 时不抛 AttributeError
- _resolve_task 统一返回 (callable, mock_self, real_task) 三元组
- timeout 重试用例复用 real_task patch retry，不再二次调用无保护的 _get_current_object()
- mock_self 判断改为 is not None（语义更清晰，兼容 MagicMock 真值）

xiaoxia force-pushed fix/voice-clone-stuck-processing from dc6c442ea1 to ce1bd8e7c7 2026-09-26 14:52:10 +08:00 Compare

auto-approve-bot added 1 commit 2026-09-26 14:55:37 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] c4150311a6

xiaoxia added 1 commit 2026-09-26 15:13:33 +08:00

test(voice-clone): 为 cleanup_stale_processing 补单测，满足增量覆盖率门槛 ... 08a52c7bba

新增 5 个用例覆盖：
- 无卡死记录不 commit
- 单条超时记录标 failed + 错误信息含分钟数
- 自定义 timeout 反映在错误信息中
- 多条记录批量清理且只 commit 一次
- query 链路包含 status/updated_at 双过滤条件

使用 sys.modules 预注入假模型类，避免 SQLAlchemy/DB 依赖。

xiaoxia added 1 commit 2026-09-26 15:23:25 +08:00

test(voice-clone): 放宽 model 身份断言，兼容 CI 测试加载顺序 1ff2ab1c1f

auto-approve-bot merged commit 8a396303b8 into develop 2026-09-26 15:31:08 +08:00

auto-approve-bot deleted branch fix/voice-clone-stuck-processing 2026-09-26 15:31:10 +08:00

gitea-actions bot commented 2026-09-26 15:31:43 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #2050 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #2050 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#2050