348 Commits

Author	SHA1	Message	Date
xiaoxia	44224cfaf6	feat: 转场位置与类型随机化 (#1766) (#1786) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-08 10:17:35 +08:00
xiaoxia	98cf571ab3	feat: #1767 BGM 池差异化分配，打破变体间音频指纹一致性 (#1785) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-08 10:12:52 +08:00
CI Bot	410c390cf0	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-07 14:03:49 +00:00
saas-backend-agent	9f85d40855	fix: 修复 compute_duplicate_rate 方法被错误嵌套到模块函数内部 ... PR #1762 查重增强时，compute_duplicate_rate 方法被意外放到 compute_structure_similarity 模块函数体内（return 之后的死代码）， 导致 VideoDeduplicator 类丢失该方法，27 个旧单测 AttributeError。 将方法移回 VideoDeduplicator 类，缩进不变。 验证：test_duplicate_rate/test_duplicate_rate_scope/ test_dedup_1702/test_bad_fingerprint_filter/test_dedup_enhanced 共 78 个测试全部通过。	2026-09-07 22:01:13 +08:00
CI Bot	ac7ab679b7	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-07 12:28:56 +00:00
saas-backend-agent	bb98620a8a	feat: 像素级扰动滤镜降低平台查重风险 (Issue #1765) ... - generate_pixel_perturbation()：随机选 2-3 种滤镜组合 - noise: 轻微噪声 (0.01~0.02) - unsharp: 锐化/柔化 (-0.5~+0.5) - curves: 对比度微调 (0.95~1.05) - color_balance: RGB 通道偏移 - _apply_pixel_perturbation()：渲染时追加到 FFmpeg filter chain - edit_plan_service：批量变体生成时为每个变体生成不同像素扰动 - 参数幅度确保肉眼不可见（SSIM > 0.95），帧级差异 > 3% - 11 个新测试覆盖滤镜组合/参数范围/验收	2026-09-07 20:24:13 +08:00
CI Bot	07aa03da24	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-07 11:49:16 +00:00
saas-backend-agent	add93bb9de	feat(dedup): 增加文案+结构维度查重 (Issue #P2-后端3) ... - 新增 compute_text_similarity: 字符级 Jaccard 相似度比对配音文本 - 新增 compute_structure_similarity: 片段序列相似度（数量+类型+时长分布） - 多维度融合公式: duplicate_rate = visual*0.5 + text*0.25 + structure*0.25 - 文案/结构数据缺失时降级为纯视觉维度 - 21 个新测试覆盖文本+结构+权重常量	2026-09-07 19:46:43 +08:00
CI Bot	37ebf42278	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-07 10:21:04 +00:00
saas-backend-agent	d6a2715a26	feat: 封面智能选帧 — 帧质量评分（清晰度/亮度/色彩） ... P1-后端2：封面智能选帧 新增 cover_frame_scorer.py： - score_frame(): 评估单帧质量 0~100 分 - 清晰度 (0~40): 拉普拉斯方差，越高越清晰 - 亮度 (0~30): 80~180 舒适区间满分 - 色彩丰富度 (0~30): RGB 三维直方图非零 bin - score_frames(): 批量评分+排序 - select_best_frame(): 选出最佳帧 - 降级策略：cv2 不可用时返回 50.0 默认分 修改 thumbnail_generator.py： - extract_and_upload_cover_frames: num_frames=3→5 - 抽帧后对所有候选帧进行质量评分 - 按分数从高到低排序返回 - 统一临时文件管理（评分后清理） 修改 generation_cover.py： - E1/E2 步骤 max_frames=1→5 - 新增 _select_best_frame_from_snapshots() 辅助函数 - MediaKit 抽多帧后通过质量评分选最佳 修改 render_adapter.py： - 调用 extract_and_upload_cover_frames 时 num_frames=5 测试：test_cover_frame_scorer.py（18 个测试）	2026-09-07 18:18:19 +08:00
xiaoxia	debb3a5d67	feat(#1758): FFmpeg 渲染加速——preset medium→fast + 多线程 + 环境变量可覆盖 (#1757) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-07 16:37:35 +08:00
xiaoxia	4b3feb2d88	feat(#1754): 渲染期画面扰动——让批量视频本身更不同 (#1755) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-07 13:55:47 +08:00
xiaoxia	e83a0b86f8	fix(#1749): 批量三连修：配音严格守卫/配音时长分配+末帧冻结/素材级去重 + variant-plans 接口 (#1752) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-07 09:22:34 +08:00
saas-backend-agent	ed09794f4d	fix(#1743): smart-match排序注入随机噪声 + 素材使用次数按成片实际片段计数回写 ... 1. smart-match 排序零随机修复（主因）： - smart_select_assets 排序/多样性分桶注入 0~SCORE_RANDOM_NOISE_MAX 随机噪声， 同分/近分素材每次选出不同组合与顺序；分差>20的高质量素材保持稳定优先级 - 噪声以 asset.id 为 key 同次调用内一致；r.score 始终为无噪声原始分 - 支持 rng 注入（测试可复现）；smart-match API/正式生成/模板编辑器三调用点全受益 2. 素材使用次数口径修复： - mark_asset_used_for_generation 新增 times 参数，按成片实际渲染片段引用次数累加 - worker 回写从 task.asset_ids（请求列表，含未被plan选用的素材）改为 统计最终成片 plan 的 edit_plan_clips（同素材多片段复用按片段数累加） - 抽 _count_plan_clip_asset_usage/_record_rendered_asset_usage 纯函数（可单测） - plan 无有效片段时兜底 task.asset_ids 单次计数；单素材失败不阻断其他 3. 测试：22 新测试（噪声 10 + 回写计数 12）；旧确定性排序断言注入零噪声 rng； 修复 test_distribute_assets 预存在 flaky（shuffle 未被零噪声 patch 覆盖）	2026-09-06 19:48:08 +08:00
xiaoxia	0469272bd6	fix(#1743): 批量变体独立选片——完整重跑单视频选片+批次20%重叠避让+查重超阈重渲+封面独立 (#1745) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-06 18:07:24 +08:00
xiaoxia	54916aff86	fix(#1714): 同名兜底去重误杀新视频 + ingest 链路孤儿清理/启动恢复 (#1734) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-06 13:41:26 +08:00
saas-backend-bot	df99305dd6	feat(worker): celery 队列隔离 + 孤儿任务消息作废 (#1714) ... 问题：素材转码与视频生成共用 celery 默认队列、worker 单进程消费， 20+ 转码积压会把用户生成任务堵 40 分钟以上；孤儿清理把任务标 failed 后 Redis 队列消息未作废，消息被重投导致 failed→running 非法转换， worker 打印 ERROR 后继续产出半成品。 队列隔离： - 新增 packages/shared/celery_queues.py：generation/transcode/celery 三队列与 task_routes（generate_video→generation；ingest_asset/ classify_asset/duplication→transcode），apply_queue_settings() - worker 入口改双进程：generation worker 独占队列并内嵌 beat （prefetch=1, GENERATION_CONCURRENCY 默认 2），transcode worker 消费 transcode,celery（并发=总-2，最小 1），任一退出则整体终止 - compose/部署脚本/ps1 同步新增 GENERATION_CONCURRENCY 与健康检查 消息作废： - 新增 packages/shared/celery_orphan_guard.py：终态守卫 ensure_task_claimable、Redis 队列消息物理清理（JSON 信封解析， 按业务 id + celery headers.id 双匹配，未命中 rpush 保序）、 revoke_and_purge（control.revoke + 物理清队列双保险） - 入队点（生成/上传/分片/重试）send_task 后持久化 celery_task_id 到 generation_tasks/ingest_jobs（新列，067 迁移，失败仅 warning） - generate_video/ingest_asset 执行前校验 DB 状态：终态直接 discarded 不进业务逻辑；mark_processing 返回 False（非法转换）安全中止 - 孤儿/超时清理标 failed 时同时 revoke + 清队列消息 - pending 超时阈值 15→45 分钟，与 running 孤儿(20min)区分 测试：新增 22 个单测（路由表/真实 Redis 消息清理/终态守卫/ 非法转换中止/标 failed 后消息不重投/入队持久化），全量 14301 passed；067 迁移隔离 DDL 验证 upgrade/downgrade 通过。	2026-09-05 19:07:47 +08:00
xiaoxia	0a7ae8db4f	fix(upload): complete 接口幂等去重 + HEVC 转码回写占位 asset 禁止兜底新建 (#1714) (#1715) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 16:07:45 +08:00
xiaoxia	21c26b5b26	feat(generation): worker孤儿任务自动恢复 + 429限流结构化提示 (#1677) (#1710) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 11:37:49 +08:00
xiaoxia	cf83c0df9f	fix(dedup): pHash阈值二次校准12→16 + 时序对齐允许±1反向抖动，修复降重同源对漏检 (#1702) (#1709) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 11:30:11 +08:00
xiaoxia	ca7f875224	fix(dedup): scope=user跨项目查重不做时长预过滤，同源不同时长视频可互相检出 (#1702) (#1708) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 10:12:50 +08:00
xiaoxia	15909a92e5	fix(dedup): check_duplicate支持exclude_video_id，修复recompute自匹配 (#1702) (#1706)	2026-09-05 09:38:17 +08:00
xiaoxia	7a4aa27f71	fix(dedup): recompute任务从file_url派生OSS下载key，修复重算404 (#1702) (#1705) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 08:36:19 +08:00
xiaoxia	28b3010668	fix(dedup): 修复查重率恒为0%——指纹绕开降重裁剪+局部片段复用+阈值校准+3个单位bug (#1702) (#1703) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 07:57:23 +08:00
xiaoxia	db244fe14c	feat: 片段时长自动对齐配音时长 (#1693)	2026-09-04 16:09:23 +08:00
xiaoxia	e86f137c3d	fix: 标题默认位置 fallback 改为 bottom，与前端 DEFAULT_TITLE_SETTINGS 对齐 (#1691)	2026-09-04 15:19:34 +08:00
xiaoxia	4633126bb4	fix: 查重系统黑屏视频过滤 — 跳过坏指纹防止虚假匹配 #1664 (#1688) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 14:56:47 +08:00
xiaoxia	452a484c5b	fix: 查重流程全面核实修复 — 两阶段持久化 + 重新计算查重API (#1664) (#1684) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 13:00:11 +08:00
xiaoxia	f523548eee	feat: 视频渲染后随机边缘裁剪 2-5% 降重 #1664 (#1682) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 11:56:18 +08:00
xiaoxia	0542654ca8	fix: 查重 worker 无限重试 bug + 补 3 个 API/repository 单测 (#1661 follow-up) (#1680) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 11:38:11 +08:00
xiaoxia	2a2dfad137	feat: pHash阈值校准+颜色直方图融合 #1658 (#1674) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 02:06:58 +08:00
xiaoxia	2205adb8fb	feat(worker): 手动查重 worker task + visual_similarity/match_count 字段 #1661 (#1679) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 01:28:35 +08:00
xiaoxia	f10fd9cd5c	feat: 查重率百分比计算+跨项目查重 #1660 (#1675) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 00:11:51 +08:00
xiaoxia	db9ee89ffa	fix(dedup): ruff lint 修复 — 未使用变量 + zip strict + 冗余 import (#1659)	2026-09-03 23:09:19 +08:00
CI Bot	a0d4f6e111	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-03 15:04:14 +00:00
xiaoxia	fac80b1f77	feat(dedup): 动态抽帧 + 滑动窗口时序匹配 (#1659) ... 1. 动态抽帧策略 — detect_keyframe_timestamps() - 降采样到 320x240 逐帧灰度差异检测场景切换 - 最小间隔过滤（保留差异最大的候选帧） - 数量裁剪到 [MIN_KEYFRAMES=5, MAX_KEYFRAMES=30] - 长视频（>3分钟）每 30 秒分段保底 2. 滑动窗口时序匹配 — find_duplicate_segments() - 逐帧最佳匹配 → 连续 run 检测（允许 MAX_GAP=2 间隙） - 最少 MIN_CONSECUTIVE_MATCHES=5 帧才报告 - 返回 DuplicateSegment（query/target 时间范围 + 平均距离） 3. 查重算法升级 - 均值距离 → 中位数距离（抵抗异常值） - 新增帧匹配比例条件（match_ratio >= 0.7） - Bhattacharyya 系数替代余弦相似度 - pHash + 直方图加权融合（0.7/0.3） - 判定重复后附加 duplicate_segments 字段 4. 删除旧代码 - 移除 SHORT_VIDEO_CHUNK_SEC/LONG_VIDEO_CHUNK_SEC 固定间隔 - 移除 compute_chunk_interval() - 移除 _average_histogram_similarity() 5. 测试 - 新增 test_dedup_v2.py: 34 个测试 - 更新 test_dedup_engine.py/test_duplicate_rate.py/test_dedup_pure.py - 清理 test_fingerprint_chunks.py 中旧常量测试	2026-09-03 23:00:21 +08:00
saas-backend-agent	cbca0c3584	feat: 分片指纹存储改造 + 存量指纹重建脚本 #1657 ... ## 改动 ### 1. 新建 video_fingerprint_chunks 表（Migration 063） - 按时间分片存储 pHash + color_histogram - 索引：video_id, project_id, user_id ### 2. 新增 VideoFingerprintChunkModel - packages/adapters/sqlalchemy_impl/models.py ### 3. 改造 dedup.py 指纹计算 - compute_fingerprint() 改为按时间分片抽帧 - 短视频（≤60s）：每 2s 一片 - 长视频（>60s）：每 5s 一片 - VideoFingerprint 新增 chunks 字段（list of FingerprintChunk） - 向后兼容：keyframe_phashes/color_histograms 保留 - to_chunk_models() 方法转换为 SQLAlchemy Model - check_duplicate() 优先从分片表读取，回退到 JSON 字段 - check_duplicate_task() 写入分片表 ### 4. 改造 dedup_helpers.py - create_video_record_and_dedup() 同步写入分片表 ### 5. 存量指纹重建脚本 - apps/api/scripts/rebuild_fingerprint_chunks.py - 支持 --dry-run 和 --batch-size - 幂等：已有分片数据的视频跳过 ### 6. 单元测试（11 个） - 分片策略：60s→30片，120s→24片 - to_chunk_models() 输出正确 - _save_fingerprint_chunks 幂等性 - to_dict() 向后兼容 Closes #1657	2026-09-03 20:41:11 +08:00
xiaoxia	e6e4090f3c	feat(voice): 提取视频配音接口 + 素材来源标识 (#1654)	2026-09-03 18:33:53 +08:00
xiaoxia	e0e7f0a503	fix(worker): Worker 异常时将占位 Asset 标记为 ERROR (#1651) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-03 17:13:39 +08:00
xiaoxia	ec45d71d2c	fix: 上传素材后视频库立即显示（创建 PROCESSING 状态 Asset） (#1644) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-03 14:56:35 +08:00
xiaoxia	4aeb1d5b66	fix(render): 修复生成视频时长短于模板要求时长 (#1614) ... fix(render): 修复生成视频时长短于模板要求时长 (#1614)	2026-09-01 20:00:12 +08:00
xiaoxia	9ad729d917	fix(dedup): AI Review 阻塞问题修复——DB 层排除自身 + 文档修正 ... 1. DB 查询层排除 current_video_id： 原实现在 Python 循环里排除自身，但 GeneratedVideo 记录在查重前已 写入 DB（dedup_helpers L80 create → L126 compute_duplicate_rate）， 查询结果会包含自身 → MD5 完全匹配 → duplicate_rate 恒为 100%。 现在在 query 构建时即排除：query.filter(id != current_video_id) 2. 文档修正：limit(200) → "遍历最近 200 个"（与实际实现一致） 3. 测试 mock 更新：filter() 现在被调用两次（scope + self-exclusion）， 所有测试改用 chainable query_mock 模式。	2026-09-01 13:17:19 +08:00
CI Bot	1225e65cc3	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-01 05:13:39 +00:00
xiaoxia	3a9a4334df	feat(dedup): 自动查重率扩大到用户全局——跨项目比对 ... 原 compute_duplicate_rate 仅按 project_id 比较，用户在不同项目/模板 下生成的视频互不可见，导致查重率始终为 0。 修改： - dedup.py: compute_duplicate_rate 新增可选 user_id 参数； 有 user_id 时按用户全局查询（跨项目），否则回退 project_id。 查询上限从 100 提升到 200。 - dedup_helpers.py: create_video_record_and_dedup 传 user_id 给 compute_duplicate_rate。 新增测试： - test_duplicate_rate.py: +2 用例（跨项目匹配 / 空 user_id 回退） - test_dedup_helpers_user_id.py: 3 用例（user_id 透传 / 空值兼容 / duplicate_rate 写回记录） 共 107 个相关测试全过。	2026-09-01 13:06:08 +08:00
xiaoxia	afe78fb25f	feat: 成片 duplicate_rate 百分比 + 素材高频使用自动排除 (#1573) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 16:56:52 +08:00
xiaoxia	15bc55f0ff	fix(ingest): 修复竖屏 HEVC 转码方向错误（双重旋转/ffprobe 取错行/逗号转义） (#1559) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 21:56:02 +08:00
xiaoxia	250702de59	fix: worker 音频 mime 推断补充 .m4a/.mp3/.wav/.flac/.ogg/.aac/.wma/.amr/.opus/.weba ... infer_mime_type_from_storage_key 此前只识别视频后缀，其他一律返回 image/jpeg，导致所有音频文件在 ingest 后被标记为 file_type=image， 配音上传和克隆音色上传均失败。 补充音频后缀分支，返回对应 audio/... mime type。 新增 10 个音频单测，共 13 测试全过。	2026-08-29 12:00:52 +08:00
xiaoxia	c74b2d4d8d	style: fix lint issues in batch_thumbnail.py	2026-08-28 18:46:46 +08:00
CI Bot	df8c64fc81	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-28 10:32:33 +00:00
xiaoxia	8e89717166	fix: 素材缩略图全黑 — 签名URL + 批量修复 + 前端兜底 ... 问题根因： 1. OSS bucket 为私有，upload_to_oss 返回的公开 URL 返回 403 2. API 降级逻辑把视频 .mp4 的 signed URL 当作 thumbnail_url 返回 3. 浏览器 <img> 无法渲染 .mp4 文件，显示黑屏 修复： - ingest.py: 存储 storage_key 而非公开 URL，API 层统一签名 - assets.py: 移除 .mp4 降级，thumbnail_url 通过 get_download_url 签名 - AssetCard.tsx: 检测视频 URL 后缀 + onError 降级显示类型图标 - 新增 batch_generate_thumbnails Celery 任务，为 2587 个历史视频补生成缩略图 - 同时处理 242 条旧格式公开 URL → storage_key 迁移	2026-08-28 18:23:41 +08:00