17 Commits

Author	SHA1	Message	Date
xiaoxia	54916aff86	fix(#1714): 同名兜底去重误杀新视频 + ingest 链路孤儿清理/启动恢复 (#1734) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-06 13:41:26 +08:00
saas-backend-bot	df99305dd6	feat(worker): celery 队列隔离 + 孤儿任务消息作废 (#1714) ... 问题：素材转码与视频生成共用 celery 默认队列、worker 单进程消费， 20+ 转码积压会把用户生成任务堵 40 分钟以上；孤儿清理把任务标 failed 后 Redis 队列消息未作废，消息被重投导致 failed→running 非法转换， worker 打印 ERROR 后继续产出半成品。 队列隔离： - 新增 packages/shared/celery_queues.py：generation/transcode/celery 三队列与 task_routes（generate_video→generation；ingest_asset/ classify_asset/duplication→transcode），apply_queue_settings() - worker 入口改双进程：generation worker 独占队列并内嵌 beat （prefetch=1, GENERATION_CONCURRENCY 默认 2），transcode worker 消费 transcode,celery（并发=总-2，最小 1），任一退出则整体终止 - compose/部署脚本/ps1 同步新增 GENERATION_CONCURRENCY 与健康检查 消息作废： - 新增 packages/shared/celery_orphan_guard.py：终态守卫 ensure_task_claimable、Redis 队列消息物理清理（JSON 信封解析， 按业务 id + celery headers.id 双匹配，未命中 rpush 保序）、 revoke_and_purge（control.revoke + 物理清队列双保险） - 入队点（生成/上传/分片/重试）send_task 后持久化 celery_task_id 到 generation_tasks/ingest_jobs（新列，067 迁移，失败仅 warning） - generate_video/ingest_asset 执行前校验 DB 状态：终态直接 discarded 不进业务逻辑；mark_processing 返回 False（非法转换）安全中止 - 孤儿/超时清理标 failed 时同时 revoke + 清队列消息 - pending 超时阈值 15→45 分钟，与 running 孤儿(20min)区分 测试：新增 22 个单测（路由表/真实 Redis 消息清理/终态守卫/ 非法转换中止/标 failed 后消息不重投/入队持久化），全量 14301 passed；067 迁移隔离 DDL 验证 upgrade/downgrade 通过。	2026-09-05 19:07:47 +08:00
xiaoxia	21c26b5b26	feat(generation): worker孤儿任务自动恢复 + 429限流结构化提示 (#1677) (#1710) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 11:37:49 +08:00
xiaoxia	2205adb8fb	feat(worker): 手动查重 worker task + visual_similarity/match_count 字段 #1661 (#1679) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 01:28:35 +08:00
xiaoxia	b4e3bb0fe7	refactor(worker): generate_video直接读取edit_plan_clips渲染 (#1468)	2026-08-23 16:03:30 +08:00
xiaoxia	5a5c653d2c	feat(cleanup): pending 任务自动清理，防止队列占满 (#1463)	2026-08-23 12:55:39 +08:00
xiaoxia	48c8d1fe3e	fix(P0+P1): 孤儿任务清理 + 时间时区统一 (#535) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-18 19:58:08 +08:00
xiaoxia	eb4645314d	feat: 成片中心后端升级（封面生成/复核/批量下载） (#287) ... feat: 成片中心后端升级（封面生成/复核/批量下载）	2026-07-14 09:49:11 +08:00
灵应	e539105256	fix: 3.09 审计问题修复 — P1-1 TTS Celery 执行器 + P2-1~P2-4 ... P1-1 (阻塞性): TTS 合成完整异步链路 - CosyVoiceService 新增 submit_synthesize_task() + poll_synthesize_task() - 新建 TTSWorkflowService 编排层 (packages/application/tts_job/workflow.py) - 新建 Celery 任务 process_tts_synthesis (apps/worker/worker_app/tasks/tts_synthesis.py) - 注册到 celery_app.conf.imports + tasks/__init__.py 懒加载 - TTS 路由 synthesize() 增加 CosyVoice 提交 + Celery 调度 P2-1: voice_clone.py 添加详细 Celery 重试策略注释 P2-2: 修复 voice_clone.py Session 泄漏 (session=None 安全模式) P2-3: ListVoiceLibraryUseCase 返回 (items, count) 元组，消除重复 count_by_user() P2-4: 新增 find_profile_ids_by_voice_ids() 批量方法，填充 voice_clone_profile_id 测试: 749 passed, 0 failed	2026-07-02 16:30:37 +08:00
灵应	24ac12167c	feat(task-308): 音色克隆完整流程实现 ... - CosyVoiceService: 新增 submit_clone_task() 和 check_task_status() 非阻塞方法 - VoiceCloneWorkflowService: 编排层，处理 start_clone/process_result/process_failure/retry - Celery 任务 process_voice_clone: 异步轮询 CosyVoice 克隆结果 - API 路由: 创建后触发 Celery 异步任务，支持重试 - 57 个单元测试全部通过（workflow 14 + task 6 + cosyvoice 37）	2026-07-02 12:46:44 +08:00
CI Test	43366f290c	feat: 实现任务2.10 JobService — 异步任务管理 ... - 新增 Job 领域模型（状态机、JobType/JobStatus 枚举） - 新增 JobRepository 端口 + SQLAlchemy 实现 - 新增 10 个 Use Cases（CreateJob/Submit/Progress/Complete/Fail/Retry/Cancel/Get/List/Statistics） - 新增 JobService 服务层，集成 VideoComposeService - 新增 Pydantic schemas + RESTful API 路由 - 新增 Celery compose_video 任务（含进度追踪） - 新增数据库迁移 018（jobs 表） - 新增 44 个单元测试，全部通过 - 修复状态转换：允许 pending→success（快速完成场景）	2026-07-01 22:54:21 +08:00
灵应	b41e0255ef	feat(phase8-task205): API 剪辑生成 — 渲染触发 + 进度查询 + Celery任务 + 单元测试 ... - POST /edit-plans/{id}/generate: 触发剪辑渲染生成 - 验证 editing 状态 + 片段存在 - pending 片段标记为 ready - 创建 GenerationTask 并调度 Celery 任务 - 计划状态流转为 rendering - GET /edit-plans/{id}/generation-status: 查询生成进度 - 返回计划状态、GenerationTask ID、各片段状态 - Celery 任务 worker.render_edit_plan: - 下载素材 → FFmpeg concat 拼接 → 上传 OSS - 更新 EditPlan/EditPlanClip/GenerationTask 状态 - 失败重试(max_retries=2, countdown=60s) - 16 个单元测试全部通过	2026-07-01 16:28:59 +08:00
Celery Worker Fix Agent	8210806632	fix: 修复 Celery Worker 任务注册和导入问题 ... 1. 修复 Worker 启动入口: celery_app → worker_app.celery_app - 旧 celery_app.py 不导入任何任务模块，导致 Worker 注册 0 个任务 - 删除旧版 apps/worker/celery_app.py，统一使用 worker_app/celery_app.py 2. 为缺少装饰器的任务补充 @celery_app.task: - classification.py: classify_asset() 添加装饰器 - generation.py: generate_video() 添加装饰器，修正签名匹配 API 调用方式 3. 确保 voice_extraction 任务被正确注册: - 添加 voice_extraction 到 celery_app imports - 修复 voice_extraction.py 中错误的相对导入 (.celery_app → worker_app.celery_app) - 修复 dedup.py 中指向已删除模块的导入 4. 修复 worker_app/celery_app.py: - 添加 broker_connection_retry_on_startup=True - imports 中添加 voice_extraction 和 dedup 模块 5. 修复 Dockerfile: - CMD 改为 celery -A worker_app.celery_app - 添加非 root 用户 celery 运行 Worker 6. 新建 packages/shared/config.py 和 storage.py 兼容层 - 为 worker 任务模块提供统一的 config/storage 访问入口	2026-06-27 19:31:07 +08:00
Xiaoxia AI	bfbaddbd9a	style: normalize python formatting gates	2026-06-21 06:52:19 +08:00
Xiaoxia AI	48fbe3d287	fix(worker): register generation task	2026-06-20 19:43:08 +08:00
Xiaoxia AI	88db1a7753	fix: register worker tasks explicitly	2026-06-15 19:14:54 +08:00
Xiaoxia AI	b5a62ee9a3	feat: initial SaaS scaffold ... - domain: User, Workspace, Project, AssetLibrary, Asset, IngestJob - ports: repository interfaces - application: use cases - adapters: in-memory - API: FastAPI 5 routes - worker: Celery ingest_asset - tests: 4 passing	2026-06-15 15:17:40 +08:00