feat(worker): celery 队列隔离 + 孤儿任务消息作废 (#1714) #1722

Merged

xiaoxia merged 2 commits from feature/celery-queue-isolation-1714 into develop 2026-09-05 20:10:13 +08:00

Conversation 3 Commits 2 Files Changed 32

+1934 -63

2 Commits

Author	SHA1	Message	Date
saas-backend-agent	6a1ec20e68	test(#1714): 补 mock redis 覆盖率测试，diff coverage 98% ... CI runner 无本地 redis，purge/revoke 与路由持久化的真实 redis 测试 全部 skip 导致这些改动零覆盖、diff coverage 45% 未达 60% 门禁： - 新增 test_orphan_guard_purge_mocked_1714.py（31 测试，全 mock）： _extract_business_ids 各形态（三元组/裸 args/dict args/坏 JSON/坏 base64/空 args）、_purge_one_queue（biz/celery id 双匹配命中、未命中 rpush 保序、全删不 rpush、解析失败保守保留、lrange/重写异常）、 purge_stale_messages_from_queues（空 ids 早退、redis 未安装、连接失败、 close 异常）、revoke_and_purge（逐条 revoke、异常不阻断、空 id 跳过） - 新增 test_persist_celery_id_routes_1714.py（9 测试）：ingest_jobs / task_center 重试 / upload helper 的 celery_task_id 持久化正常与异常 吞掉分支、task_enqueue 持久化失败仍入队成功、celery_app 队列配置 异常不阻断启动（用独立模块对象加载，不 reload 污染 task_enqueue）、 仓储 update 落库 celery_task_id - chunked_upload 完成回调去重：改为复用 upload._persist_celery_task_id	2026-09-05 19:52:50 +08:00
saas-backend-bot	df99305dd6	feat(worker): celery 队列隔离 + 孤儿任务消息作废 (#1714) ... 问题：素材转码与视频生成共用 celery 默认队列、worker 单进程消费， 20+ 转码积压会把用户生成任务堵 40 分钟以上；孤儿清理把任务标 failed 后 Redis 队列消息未作废，消息被重投导致 failed→running 非法转换， worker 打印 ERROR 后继续产出半成品。 队列隔离： - 新增 packages/shared/celery_queues.py：generation/transcode/celery 三队列与 task_routes（generate_video→generation；ingest_asset/ classify_asset/duplication→transcode），apply_queue_settings() - worker 入口改双进程：generation worker 独占队列并内嵌 beat （prefetch=1, GENERATION_CONCURRENCY 默认 2），transcode worker 消费 transcode,celery（并发=总-2，最小 1），任一退出则整体终止 - compose/部署脚本/ps1 同步新增 GENERATION_CONCURRENCY 与健康检查 消息作废： - 新增 packages/shared/celery_orphan_guard.py：终态守卫 ensure_task_claimable、Redis 队列消息物理清理（JSON 信封解析， 按业务 id + celery headers.id 双匹配，未命中 rpush 保序）、 revoke_and_purge（control.revoke + 物理清队列双保险） - 入队点（生成/上传/分片/重试）send_task 后持久化 celery_task_id 到 generation_tasks/ingest_jobs（新列，067 迁移，失败仅 warning） - generate_video/ingest_asset 执行前校验 DB 状态：终态直接 discarded 不进业务逻辑；mark_processing 返回 False（非法转换）安全中止 - 孤儿/超时清理标 failed 时同时 revoke + 清队列消息 - pending 超时阈值 15→45 分钟，与 running 孤儿(20min)区分 测试：新增 22 个单测（路由表/真实 Redis 消息清理/终态守卫/ 非法转换中止/标 failed 后消息不重投/入队持久化），全量 14301 passed；067 迁移隔离 DDL 验证 upgrade/downgrade 通过。	2026-09-05 19:07:47 +08:00