89 Commits

Author	SHA1	Message	Date
saas-backend-bot	df99305dd6	feat(worker): celery 队列隔离 + 孤儿任务消息作废 (#1714) ... 问题：素材转码与视频生成共用 celery 默认队列、worker 单进程消费， 20+ 转码积压会把用户生成任务堵 40 分钟以上；孤儿清理把任务标 failed 后 Redis 队列消息未作废，消息被重投导致 failed→running 非法转换， worker 打印 ERROR 后继续产出半成品。 队列隔离： - 新增 packages/shared/celery_queues.py：generation/transcode/celery 三队列与 task_routes（generate_video→generation；ingest_asset/ classify_asset/duplication→transcode），apply_queue_settings() - worker 入口改双进程：generation worker 独占队列并内嵌 beat （prefetch=1, GENERATION_CONCURRENCY 默认 2），transcode worker 消费 transcode,celery（并发=总-2，最小 1），任一退出则整体终止 - compose/部署脚本/ps1 同步新增 GENERATION_CONCURRENCY 与健康检查 消息作废： - 新增 packages/shared/celery_orphan_guard.py：终态守卫 ensure_task_claimable、Redis 队列消息物理清理（JSON 信封解析， 按业务 id + celery headers.id 双匹配，未命中 rpush 保序）、 revoke_and_purge（control.revoke + 物理清队列双保险） - 入队点（生成/上传/分片/重试）send_task 后持久化 celery_task_id 到 generation_tasks/ingest_jobs（新列，067 迁移，失败仅 warning） - generate_video/ingest_asset 执行前校验 DB 状态：终态直接 discarded 不进业务逻辑；mark_processing 返回 False（非法转换）安全中止 - 孤儿/超时清理标 failed 时同时 revoke + 清队列消息 - pending 超时阈值 15→45 分钟，与 running 孤儿(20min)区分 测试：新增 22 个单测（路由表/真实 Redis 消息清理/终态守卫/ 非法转换中止/标 failed 后消息不重投/入队持久化），全量 14301 passed；067 迁移隔离 DDL 验证 upgrade/downgrade 通过。	2026-09-05 19:07:47 +08:00
xiaoxia	0a7ae8db4f	fix(upload): complete 接口幂等去重 + HEVC 转码回写占位 asset 禁止兜底新建 (#1714) (#1715) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 16:07:45 +08:00
xiaoxia	2205adb8fb	feat(worker): 手动查重 worker task + visual_similarity/match_count 字段 #1661 (#1679) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 01:28:35 +08:00
xiaoxia	f10fd9cd5c	feat: 查重率百分比计算+跨项目查重 #1660 (#1675) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 00:11:51 +08:00
saas-backend-agent	cbca0c3584	feat: 分片指纹存储改造 + 存量指纹重建脚本 #1657 ... ## 改动 ### 1. 新建 video_fingerprint_chunks 表（Migration 063） - 按时间分片存储 pHash + color_histogram - 索引：video_id, project_id, user_id ### 2. 新增 VideoFingerprintChunkModel - packages/adapters/sqlalchemy_impl/models.py ### 3. 改造 dedup.py 指纹计算 - compute_fingerprint() 改为按时间分片抽帧 - 短视频（≤60s）：每 2s 一片 - 长视频（>60s）：每 5s 一片 - VideoFingerprint 新增 chunks 字段（list of FingerprintChunk） - 向后兼容：keyframe_phashes/color_histograms 保留 - to_chunk_models() 方法转换为 SQLAlchemy Model - check_duplicate() 优先从分片表读取，回退到 JSON 字段 - check_duplicate_task() 写入分片表 ### 4. 改造 dedup_helpers.py - create_video_record_and_dedup() 同步写入分片表 ### 5. 存量指纹重建脚本 - apps/api/scripts/rebuild_fingerprint_chunks.py - 支持 --dry-run 和 --batch-size - 幂等：已有分片数据的视频跳过 ### 6. 单元测试（11 个） - 分片策略：60s→30片，120s→24片 - to_chunk_models() 输出正确 - _save_fingerprint_chunks 幂等性 - to_dict() 向后兼容 Closes #1657	2026-09-03 20:41:11 +08:00
xiaoxia	a633b64d4f	feat(migrations): 对齐 staging 数据库结构与生产 (#1627) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-02 15:30:38 +08:00
CI Bot	87cca302f4	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 13:26:58 +00:00
xiaoxia	6e76b45d34	feat: 统一模板 segments 数据源为 template_clip_configs ... - list_segments/list_by_user 优先读 clip_configs，回退 template_segments - create_segments 写入 clip_configs，material_type 存 config JSON - copy_template 复用 create_segments，使用 created.id - delete 复用 delete_segments_by_template 清理两张表 - migration 060: 方言感知(postgresql/mysql)一次性迁移历史数据 - 11 个新测试 + 120 个现有测试全部通过 Closes #1579	2026-08-31 19:58:51 +08:00
xiaoxia	afe78fb25f	feat: 成片 duplicate_rate 百分比 + 素材高频使用自动排除 (#1573) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 16:56:52 +08:00
xiaoxia	61295b9c25	feat(tts): 正式合成支持克隆音色 + 保存到配音库改写 assets 素材体系 + 克隆接口支持 asset_id (#1556) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 18:46:06 +08:00
agent	06f68230af	fix(edit-flow): 补全 title_config 数据链路，修复编辑流程断裂 ... 1. Schema: CreateGenerationTaskRequest 增加 title_config(dict|None=None) 2. DB: generation_tasks 新增 title_config JSON 列 (alembic 057) 3. Domain/ORM/Repo/UseCase 全链路透传 title_config 4. API 创建任务成功后，merge 回写 EditPlan.config (generation_task_id + title_config)，失败不影响主流程 5. Worker 优先使用 title_config 构建标题图层，custom_title 兜底 6. GenerationTaskResponse 返回 title_config 7. 旧路由 /generate 和 /generation-status 标记 DEPRECATED 所有新字段默认 None/{}，不传时行为与现在完全一致。	2026-08-23 13:12:40 +08:00
xiaoxia	6a4085452d	fix: cover_templates config double-encoded JSON causing 500 (#1363)	2026-08-13 23:55:40 +08:00
xiaoxia	153b38a62f	feat: 封面模板 CRUD API (#1323) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-09 18:26:00 +08:00
xiaoxia	cf55d475b9	fix: 缩短 migration revision ID 以适配 alembic_version VARCHAR(32) 限制	2026-08-08 21:53:57 +08:00
xiaoxia	7d4e1b1b2f	fix: 确认生成 API 改为复用 worker.generate_video 渲染路径（适配 develop 分支） ... 从 main 分支 PR #1308 手动适配到 develop 分支，保留 develop 现有功能： Schema 层： - 新增 ConfirmGenerationRequest schema - CreateGenerationTaskRequest 增加 6 个新字段（is_preview, source_task_id, output_width, output_height, cover_url, custom_title） - GenerationTaskResponse 增加对应字段 Domain 层： - GenerationTask 实体增加 source_task_id, output_width, output_height, cover_url, custom_title 字段 - create() 工厂方法增加对应参数 Application 层： - CreateGenerationTaskCommand 增加对应字段 - UseCase 执行时传递新字段 DB 层： - GenerationTaskModel 增加 5 个新列（is_preview 已存在于 develop） - 仓储 _to_domain/create/update 映射更新 API 路由： - 新增 POST /tasks/{task_id}/confirm 端点 - 使用 safe_enqueue_generation_task 适配 develop 任务入队机制 - 更新 _to_generation_task_response 和 retry 端点 Worker 层： - _load_task_info 返回新字段 - generate_video 支持动态分辨率（output_width/output_height 覆盖默认分辨率） Alembic 迁移 054： - generation_tasks 表增加 source_task_id, output_width, output_height, cover_url, custom_title 列 单元测试： - tests/unit/test_confirm_generation.py（7 个测试用例全部通过） - 适配 develop 的 safe_enqueue_generation_task 入队机制	2026-08-08 21:44:30 +08:00
xiaoxia	3b6b32d561	feat(#1197): Phase 1 预览生成接口（单版本预览） ... 实现预览生成功能的后端 Phase 1：单版本预览接口（创建 + 查询）。 变更内容： - 领域模型 GenerationTask 新增 is_preview: bool = False 字段 - SQLAlchemy GenerationTaskModel 新增 is_preview 列（带索引） - 新增 alembic migration 053_generation_task_is_preview - 仓储层 _to_domain/create/update 同步 is_preview 字段（getattr 兼容旧数据） - CreateGenerationTaskCommand/UseCase 新增 is_preview 参数 - Schema 新增 CreatePreviewGenerationTaskRequest 和 PreviewGenerationTaskResponse - 新增 /api/v1/generation/preview 路由（POST 创建 + GET 查询） - Worker generate_video 检测 is_preview=True 时强制 854x480 + 1M 低码率 - 新增 29 个单元测试，全部通过 验收： - ✅ 所有新增文件写完，所有修改点完成 - ✅ 单元测试 29 个，全部通过 - ✅ 现有 generation 相关 174 个测试全部通过 - ✅ 代码通过 ruff + black 检查 - ✅ 在 feat/preview-generation-1197 分支上	2026-08-01 17:08:38 +08:00
xiaoxia	0cc02c698c	fix(migration): 补充 generation_tasks.bgm_config 字段 migration（P0 生成接口500修复）(#895)	2026-07-25 20:53:22 +08:00
xiaoxia	ed21ee11d2	refactor(#776): 统一配置入口，建立packages/config消除重复定义 (#791)	2026-07-23 23:55:01 +08:00
xiaoxia	9d3a8852e5	feat(#632): 一键生成输出分辨率可配置 (#749) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-23 10:27:37 +08:00
xiaoxia	833c604fd7	feat(video-share): 视频分享后端 - 密码保护/有效期/浏览下载计数 (#737)	2026-07-23 09:38:21 +08:00
xiaoxia	269723ced2	feat(#558): 微信登录 + 绑定手机号邮箱完整后端实现 (#670) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-21 09:21:01 +08:00
xiaoxia	981d965d89	feat(phase3): 下线/edit-plans/*旧路由 + 清理废弃代码 + 数据库冗余字段清理 (#657) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-20 23:48:36 +08:00
xiaoxia	419cc3fb6a	feat(phase2): 模板发布版本化 + 回滚能力 (#646) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-20 18:15:00 +08:00
xiaoxia	2f64fea7f0	fix(P0): 视频标题全链路打通 (#585) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-19 14:32:25 +08:00
xiaoxia	c080a688bb	fix(P1): 成片库历史数据user_id回填 (#572) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-19 12:01:18 +08:00
xiaoxia	fca186533b	feat(P1): 成片库按用户维度改造，修复一键生成查不到+越权漏洞 (#563) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-19 10:28:33 +08:00
xiaoxia	48c8d1fe3e	fix(P0+P1): 孤儿任务清理 + 时间时区统一 (#535) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-18 19:58:08 +08:00
CI Bot	0b073a8648	fix(worker): 补alembic迁移+schema快照+asset_repository单测，修复CI 3红 ... - 新增042号迁移：assets表加storage_key字段 - 更新schema-metadata-snapshot.json快照 - 新增SQLAlchemyAssetRepository的storage_key单测（create/update/to_domain fallback）	2026-07-17 18:28:54 +08:00
XiaoXia Bot	33f08b465b	fix: 补充edit_plans.result_count字段的Alembic迁移 (#366)	2026-07-15 14:07:57 +08:00
xiaoxia	2081c72be6	feat: 视频调速引擎（快进/慢放） (#294)	2026-07-14 11:36:24 +08:00
xiaoxia	ff38ee0f2b	feat: 转场特效引擎 — 14种转场预设 + TransitionEngine抽象 + 降级策略 ... Squash merge PR #293	2026-07-14 11:03:56 +08:00
xiaoxia	94aead4342	feat: 任务中心升级（失败重试/错误追踪/列表筛选） (#289)	2026-07-14 09:55:53 +08:00
xiaoxia	b66de19be8	feat: 一键生成链路日志最小集 (#205)	2026-07-10 23:57:38 +08:00
用户CI Test	abc54ace4e	fix: expand all UUID fields from varchar(32) to varchar(36) ... P0 hotfix: ingest_jobs.library_id (and all other UUID fields across 10 tables) were varchar(32), but standard UUIDs with hyphens are 36 chars, causing StringDataRightTruncation on insert — mini-program upload was completely broken. Changes: - models.py: All String(32) UUID fields → String(36) across 10 tables (projects, edit_templates, edit_plans, template_clip_configs, edit_plan_clips, ingest_jobs, classification_jobs, generation_tasks, generated_videos, jobs) - Alembic migration 036: ALTER COLUMN for all affected fields - Unit tests: 43 tests verifying String(36) on all UUID columns and standard UUID construction with hyphens Fixes: upload/direct/complete StringDataRightTruncation error	2026-07-10 01:23:24 +08:00
xiaoxia	ed972a230c	feat: 扩展剪辑模板体系 + 实现剪辑计划生成器	2026-07-09 21:21:23 +08:00
lingying	0eb410c1a2	fix(db): 添加034_cms_enhance占位迁移，对齐生产数据库版本 ... 生产数据库alembic_version为034_cms_enhance，但代码中没有对应迁移文件， 导致部署时alembic upgrade head失败。添加占位迁移让alembic 能识别当前版本。实际表结构变更已在生产手动应用。	2026-07-09 02:02:45 +08:00
灵应	9f0c064f2a	feat: 任务4 视频查重 — 历史+批次双重去重 ... - Alembic 033: generation_tasks 加 batch_id 列+索引 - Route: count>1 时生成共享 batch_id - Repository: list_by_batch() 批次内查询 - dedup.py: check_batch_duplicate() 批次内查重 - Worker: 生成视频后创建 GeneratedVideo 记录 + 双重查重 - 单元测试: 6 个批次查重测试用例	2026-07-07 15:26:41 +08:00
灵应	1ea8fd3989	feat: P2 素材库自动匹配 - 支持 all/random/smart 三种素材选取模式 ... - Schema: 新增 asset_select_mode + asset_select_count 字段 - Domain: GenerationTask 新增 asset_select_mode 字段 - Application: Command/UseCase 透传 asset_select_mode - Route: _select_assets_from_library() 辅助函数 + 创建任务集成 - SQLAlchemy: Model/Repository 映射 asset_select_mode - Alembic: 032 号迁移 - Worker: _download_library_assets() 支持 asset_ids 过滤 - 单测: 15 个测试覆盖三种模式 + 边界情况	2026-07-07 15:13:05 +08:00
灵应	4fee87c5e8	feat: 素材重复上传检测 + 批量生成视频 ... 任务1: 素材重复上传检测 - 上传接口支持 file_hash 参数，通过 MD5+素材库ID 去重 - 命中去重直接返回已有 asset_id，不重复存 OSS - file_hash 透传: API → IngestJob → Asset 全链路 - 三条上传路径（表单/直传/分片）均支持去重 - Alembic 031: assets + ingest_jobs 加 file_hash 列+索引 - 6 个单元测试覆盖去重命中/未命中/空hash/透传 任务3: 批量生成视频 - POST /generations 支持 count 参数，一次创建多条生成任务 - 每条任务独立状态跟踪，响应返回 task_ids 列表 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-07 14:57:37 +08:00
CI Test	8219d2445d	fix: 移除多余的031 display_name migration（baseline已包含此字段）	2026-07-07 13:41:08 +08:00
CI Test	608ddbf9f7	fix: 修复migration 030离线模式下_table_exists崩溃问题	2026-07-07 13:35:22 +08:00
CI Test	18571451ed	fix: 修复前端prettier格式 + 增加users.display_name migration ... - 修复6个前端文件的Prettier格式问题 - 新增031 migration: users表增加display_name列	2026-07-07 13:31:01 +08:00
灵应	b0f2e4712a	feat: P3 配音模块标签体系 — 标签 CRUD + 素材打标 + tag_ids 筛选 ... - 新增 Tag 领域实体 + TagModel/AssetTagModel ORM 模型 - Alembic 迁移 030：tags 表 + asset_tags 关联表 - TagRepository 端口 + SQLAlchemy/InMemory 实现 - Asset.tag_ids 多对多关联替代原 JSON tags - GET /tags / POST /tags / DELETE /tags/{tag_id} 标签 CRUD - POST /assets/{asset_id}/tags 打标 / DELETE 取消标签 - GET /assets 新增 tag_ids 筛选参数（逗号分隔，取交集） - 19 个单元测试全部通过	2026-07-07 11:58:27 +08:00
灵应	653be7755b	fix: handle Alembic offline mode in migration _column_exists() helper ... The _column_exists() helper in migrations 026-029 calls conn.execute() which returns None in Alembic's offline/SQL mode (--sql flag), causing AttributeError on result.scalar(). Add context.is_offline_mode() guard to skip the idempotency check in offline mode and unconditionally emit the DDL statements. Fixes: Validate CI step 'alembic upgrade head --sql' failure.	2026-07-07 07:53:27 +08:00
灵应	6a853fef3c	fix: 补建缺失的 Alembic 迁移文件 026-029 ... 生产 DB 已执行过 026-029 迁移但文件丢失（可能 rebase 导致）， 导致 alembic 报 'Can't locate revision identified by 029_user_phone'。 补建内容： - 026: users 表加 name, avatar, updated_at - 027: users 表加 ban_reason, ban_at - 028: users 表加 admin_status, admin_remarks - 029: users 表加 phone 所有 upgrade 做幂等检查（IF NOT EXISTS），安全用于已有字段的库。	2026-07-07 07:44:30 +08:00
DevOps Bot	8a3609f303	fix: 修复alembic离线模式兼容性 + CI中prettier跳过CSS检查	2026-07-06 09:25:04 +08:00
DevOps Bot	b86a9c2af2	chore: 统一代码格式 - black + prettier 全量格式化	2026-07-06 09:13:03 +08:00
灵应	ff660b1438	feat: 补025号迁移文件 — wechat_openid/wechat_unionid 字段纳入版本管理 ... - 新建 alembic/versions/025_add_user_wechat_fields.py - revision=025, down_revision=024 - upgrade: 幂等加字段+唯一索引（检查列/索引是否存在再操作） - downgrade: 删除索引+删除字段 - UserModel 新增 wechat_openid / wechat_unionid 列定义 - 验证：upgrade 024→025 ✓ | downgrade 025→024 ✓ | 全量测试 994 passed Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-05 16:14:36 +08:00
灵应	a57a26cb67	fix(tests): 修复 sys.modules 污染导致 test_generated_video_management 间歇失败 ... 根因：test_subscription_api._install_mocks() 在模块导入时替换了 packages.domain / packages.ports 等命名空间包，导致后续测试文件 无法导入真实的 GeneratedVideo 等实体类。 修复：移除所有 packages.* 命名空间包的 fake module 创建，仅保留 必要的叶子 mock（redis/smtp 适配器、app.config/auth/dependencies）。 让 packages.* 模块从磁盘正常加载。 同时包含： - P2: asset_diagnosis 单素材诊断支持 - P2: edit_plans/edit_templates 管理员权限校验 - P2: edit_plans project 归属鉴权 - P3: test_error_scenarios 限流计数器重置 - P3: test_asset_diagnosis/test_edit_templates 测试修复 - P3: Alembic 迁移 024_add_user_is_admin	2026-07-05 01:37:06 +08:00
灵应	bc111fe08a	fix(security): P1 越权修复 — edit_plans 全接口加 project 归属鉴权 ... - 新增 project_id / created_by_user_id 字段到 edit_plans 表 - Alembic 迁移 023：加列 + 索引 - Domain entity / Model / Repository / Service / Routes 全链路适配 - 所有 11 个 edit_plans 接口加 _check_project_access 鉴权（参照 assets can_access 模式） - list_plans 移除 bare except Exception（P2 修复） - Repository 新增 list_by_project / list_by_user 查询方法 - 864 tests passing	2026-07-05 00:59:11 +08:00