813 Commits

Author	SHA1	Message	Date
xiaoxia	4633126bb4	fix: 查重系统黑屏视频过滤 — 跳过坏指纹防止虚假匹配 #1664 (#1688) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 14:56:47 +08:00
xiaoxia	452a484c5b	fix: 查重流程全面核实修复 — 两阶段持久化 + 重新计算查重API (#1664) (#1684) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 13:00:11 +08:00
xiaoxia	f523548eee	feat: 视频渲染后随机边缘裁剪 2-5% 降重 #1664 (#1682) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 11:56:18 +08:00
xiaoxia	0542654ca8	fix: 查重 worker 无限重试 bug + 补 3 个 API/repository 单测 (#1661 follow-up) (#1680) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 11:38:11 +08:00
xiaoxia	2a2dfad137	feat: pHash阈值校准+颜色直方图融合 #1658 (#1674) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 02:06:58 +08:00
xiaoxia	2205adb8fb	feat(worker): 手动查重 worker task + visual_similarity/match_count 字段 #1661 (#1679) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 01:28:35 +08:00
xiaoxia	4725d94c7e	feat(api): 成品视频接口补全查重字段 duplicate_rate/visual_similarity/match_count #1660 (#1678) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 01:03:35 +08:00
xiaoxia	f10fd9cd5c	feat: 查重率百分比计算+跨项目查重 #1660 (#1675) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 00:11:51 +08:00
xiaoxia	db9ee89ffa	fix(dedup): ruff lint 修复 — 未使用变量 + zip strict + 冗余 import (#1659)	2026-09-03 23:09:19 +08:00
CI Bot	a0d4f6e111	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-03 15:04:14 +00:00
xiaoxia	fac80b1f77	feat(dedup): 动态抽帧 + 滑动窗口时序匹配 (#1659) ... 1. 动态抽帧策略 — detect_keyframe_timestamps() - 降采样到 320x240 逐帧灰度差异检测场景切换 - 最小间隔过滤（保留差异最大的候选帧） - 数量裁剪到 [MIN_KEYFRAMES=5, MAX_KEYFRAMES=30] - 长视频（>3分钟）每 30 秒分段保底 2. 滑动窗口时序匹配 — find_duplicate_segments() - 逐帧最佳匹配 → 连续 run 检测（允许 MAX_GAP=2 间隙） - 最少 MIN_CONSECUTIVE_MATCHES=5 帧才报告 - 返回 DuplicateSegment（query/target 时间范围 + 平均距离） 3. 查重算法升级 - 均值距离 → 中位数距离（抵抗异常值） - 新增帧匹配比例条件（match_ratio >= 0.7） - Bhattacharyya 系数替代余弦相似度 - pHash + 直方图加权融合（0.7/0.3） - 判定重复后附加 duplicate_segments 字段 4. 删除旧代码 - 移除 SHORT_VIDEO_CHUNK_SEC/LONG_VIDEO_CHUNK_SEC 固定间隔 - 移除 compute_chunk_interval() - 移除 _average_histogram_similarity() 5. 测试 - 新增 test_dedup_v2.py: 34 个测试 - 更新 test_dedup_engine.py/test_duplicate_rate.py/test_dedup_pure.py - 清理 test_fingerprint_chunks.py 中旧常量测试	2026-09-03 23:00:21 +08:00
xiaoxia	159a62f9a5	Merge pull request 'feat: 跨视频片段避让 — 生成前注入已用区间 #1670' (#1671) from feat/cross-video-avoidance-1670 into develop	2026-09-03 22:42:03 +08:00
CI Bot	9d31818222	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-03 14:21:24 +00:00
saas-backend-agent	af4dd31dd1	feat: 跨视频片段避让 — 生成前注入已用区间 #1670 ... - Repository: list_used_segments_by_user() JOIN edit_plans 查用户最近 已完成 plan 的已渲染 clips，聚合为 {asset_id: [(start, end), ...]} - Domain: distribute_assets / _distribute_* 子函数新增 external_used_segments 参数，深拷贝注入 used_segments，让 _resolve_start_time 自动避让 - Service: _distribute_assets 新增 user_id 参数，预览和正式生成都查询 已用区间；查询失败时不阻塞，回退纯随机 - 12 个单元测试覆盖 Repository/Domain/Service 三层	2026-09-03 22:18:06 +08:00
saas-backend-agent	cbca0c3584	feat: 分片指纹存储改造 + 存量指纹重建脚本 #1657 ... ## 改动 ### 1. 新建 video_fingerprint_chunks 表（Migration 063） - 按时间分片存储 pHash + color_histogram - 索引：video_id, project_id, user_id ### 2. 新增 VideoFingerprintChunkModel - packages/adapters/sqlalchemy_impl/models.py ### 3. 改造 dedup.py 指纹计算 - compute_fingerprint() 改为按时间分片抽帧 - 短视频（≤60s）：每 2s 一片 - 长视频（>60s）：每 5s 一片 - VideoFingerprint 新增 chunks 字段（list of FingerprintChunk） - 向后兼容：keyframe_phashes/color_histograms 保留 - to_chunk_models() 方法转换为 SQLAlchemy Model - check_duplicate() 优先从分片表读取，回退到 JSON 字段 - check_duplicate_task() 写入分片表 ### 4. 改造 dedup_helpers.py - create_video_record_and_dedup() 同步写入分片表 ### 5. 存量指纹重建脚本 - apps/api/scripts/rebuild_fingerprint_chunks.py - 支持 --dry-run 和 --batch-size - 幂等：已有分片数据的视频跳过 ### 6. 单元测试（11 个） - 分片策略：60s→30片，120s→24片 - to_chunk_models() 输出正确 - _save_fingerprint_chunks 幂等性 - to_dict() 向后兼容 Closes #1657	2026-09-03 20:41:11 +08:00
saas-backend-agent	229f9dddeb	feat: 正式生成时片段随机重排（降重，默认开启无开关）#1663 ... 在 _distribute_assets 方法中，smart_match 评分排序完成后、 distribute_assets 之前，对 asset_ids 做 random.shuffle。 - smart_match 决定选哪些素材（评分排序保留） - shuffle 只改变最终分配到 clips 的顺序 - scene_points 缓存不受影响（shuffle 之前已读取） - asset_ids 先 list() 复制再 shuffle，不修改调用方原列表 - 新增 3 个单元测试验证 shuffle 行为 Closes #1663	2026-09-03 20:01:25 +08:00
xiaoxia	ec45d71d2c	fix: 上传素材后视频库立即显示（创建 PROCESSING 状态 Asset） (#1644) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-03 14:56:35 +08:00
xiaoxia	24e66da061	feat: SceneChange 场景检测前置到渲染前 + 场景点缓存到素材 metadata (#1622) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-02 08:40:36 +08:00
xiaoxia	2c5600cfc9	feat: 素材选取评分注入随机噪声，降低成片查重率 (#1620) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-02 01:40:34 +08:00
saas-backend-agent	c66e73e5b0	fix(test): 补齐噪声/转场补偿导致的 flaky 断言 ... - test_mediakit_smart_clips.test_assets_balanced_assignment： 评分噪声下贪心均衡断言改为 zero-noise patch 内确定性验证 （CI 失败：assert 1 == 2，与 test_editor_clips_random_start 同类） - test_duration_within_segment_range：断言上界未计入 PR #1614 转场补偿（2片段每clip +0.25s），uniform 接近上限时偶发 5.2>5.0； 按补偿公式与舍入余量修正断言范围	2026-09-02 00:33:06 +08:00
CI Bot	25a98c33b9	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-01 13:32:22 +00:00
saas-backend-agent	827d8aafe5	feat: 素材分配顺序随机打乱 + MediaKit SceneChange智能选帧 ... 1. 素材分配顺序随机打乱 - segments 处理顺序通过 random.shuffle 随机化 - clips_data 最终按原始 segment order 排序返回 - 打乱的是分配顺序，不影响播放顺序 2. MediaKit SceneChange 智能选帧 - mediakit_client.py 新增 detect_scene_changes 方法 - SceneChange 优先，失败降级到 TimeInterval（5秒间隔） - 后台任务 _update_mediakit_recommendations_async 改用 SceneChange - 各片段优先从不同镜头段选取起始时间 - analyze_videos 保留为 fallback - 所有降级路径：MediaKit不可用/SceneChange失败 → 保持随机start_time 3. 测试 - 新增 tests/unit/test_scene_change_shuffle.py (12个测试用例) - 更新 test_editor_clips_random_start.py 适配 shuffle 逻辑 - 全部 108 个相关测试通过 - ruff check 通过	2026-09-01 21:16:51 +08:00
xiaoxia	9d5ae7a5bc	feat: 素材选取路径接入 smart_match 评分，让用过降权真正生效 (#1615) ... feat: 素材选取路径接入 smart_match 评分，让用过降权真正生效 (#1615)	2026-09-01 20:37:25 +08:00
xiaoxia	4aeb1d5b66	fix(render): 修复生成视频时长短于模板要求时长 (#1614) ... fix(render): 修复生成视频时长短于模板要求时长 (#1614)	2026-09-01 20:00:12 +08:00
xiaoxia	a0c14db33c	feat(asset-dedup): 素材去重机制6项优化 — 调参+警告+贪心分配 (#1611) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-01 17:40:34 +08:00
CI Bot	1cb5991c4b	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-01 05:25:08 +00:00
xiaoxia	9ad729d917	fix(dedup): AI Review 阻塞问题修复——DB 层排除自身 + 文档修正 ... 1. DB 查询层排除 current_video_id： 原实现在 Python 循环里排除自身，但 GeneratedVideo 记录在查重前已 写入 DB（dedup_helpers L80 create → L126 compute_duplicate_rate）， 查询结果会包含自身 → MD5 完全匹配 → duplicate_rate 恒为 100%。 现在在 query 构建时即排除：query.filter(id != current_video_id) 2. 文档修正：limit(200) → "遍历最近 200 个"（与实际实现一致） 3. 测试 mock 更新：filter() 现在被调用两次（scope + self-exclusion）， 所有测试改用 chainable query_mock 模式。	2026-09-01 13:17:19 +08:00
CI Bot	1225e65cc3	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-01 05:13:39 +00:00
xiaoxia	3a9a4334df	feat(dedup): 自动查重率扩大到用户全局——跨项目比对 ... 原 compute_duplicate_rate 仅按 project_id 比较，用户在不同项目/模板 下生成的视频互不可见，导致查重率始终为 0。 修改： - dedup.py: compute_duplicate_rate 新增可选 user_id 参数； 有 user_id 时按用户全局查询（跨项目），否则回退 project_id。 查询上限从 100 提升到 200。 - dedup_helpers.py: create_video_record_and_dedup 传 user_id 给 compute_duplicate_rate。 新增测试： - test_duplicate_rate.py: +2 用例（跨项目匹配 / 空 user_id 回退） - test_dedup_helpers_user_id.py: 3 用例（user_id 透传 / 空值兼容 / duplicate_rate 写回记录） 共 107 个相关测试全过。	2026-09-01 13:06:08 +08:00
CI Bot	c08a064e55	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 23:44:35 +00:00
xiaoxia	83cb632653	fix(clips): 自建模板 from-assets 400——直接查 clip_configs 表兜底 ... 根因：_get_template_segments 中 tpl_svc.list_clip_configs() 内部调用 get_template_or_raise → 模板主体在 edit_templates 新表不存在 → ValueError 被 except 捕获 → 回退旧 template_segments 表 → 数据已迁移 至 template_clip_configs → 返回空 → 400 "模板没有片段配置"。 修复：在 except 块与旧系统回退之间新增一段直接查 template_clip_configs 表的逻辑（SQLAlchemyTemplateClipConfigRepository.list_by_template）， 绕过主表校验，片段表自带 template_id 外键即可独立查询。 三级回退链： 1. 新模板系统（主表存在）→ 原逻辑不变 2. 主表不存在 → 直接查 clip_configs 表兜住（新路径） 3. 直接查表也失败 → 回退旧 template_segments 表 4. 全部失败 → 返回空 新增 8 个单测覆盖三级回退链全部路径。	2026-09-01 07:37:00 +08:00
xiaoxia	34e8c56584	feat(title): 标题自由位置拖拽后端支持——pos_x/pos_y 注入 \\pos 定位 ... 工单 #1405 方案 B：前端支持用户在预览画面自由拖拽标题位置， 后端烧录 ASS 时按坐标定位。只动 Title，Subtitle 逻辑不变。 - title_config 新增可选字段 pos_x、pos_y（PlayRes 像素整数， PlayResX/Y = video_width/video_height） - 两字段同时存在、为 int（bool/float/字符串拒绝）、且落在 [0,video_width]×[0,video_height] 闭区间内时： - TitleStyle Alignment 固定 5（\an5 中对齐，\pos 锚点为文本块中心） - Dialogue 文本前注入 {\pos(x,y)} override tag - 字段缺失/非法/越界一律回退 position → alignment 三档逻辑， 现有 top/center/bottom 输出一字节不变 - 新增 9 个单测：合法坐标注入、边界值、无坐标回归、越界回退、 非法类型回退（含 bool/float/None/字符串）、单字段回退、 三档对齐不变、pos 覆盖 position、subtitle 不受影响	2026-09-01 01:25:25 +08:00
CI Bot	7e266d5d64	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 16:57:05 +00:00
xiaoxia	8e962b3af2	fix(smart-match): 过滤前置+余量/高频全过滤时空结果回退保留素材 ... 根因：路由旧实现先 smart_select_assets(limit=N) 截取 Top-N，再对这 N 条 做 usable/高频过滤，过滤后不回补。排名靠前素材恰好全部被排除时返回空 items，前端回退全选（smart-match 名存实亡）；usable 过滤在 limit 之后， 被排除名额也不从排名靠后候选回补。 修复： - 余量过滤、高频排除全部前置到评分/limit 之前，在全量候选上过滤 - 余量过滤后为空（全部可切区间耗尽）→ 回退保留全部候选 - 高频排除后为空或不足 limit → 回退保留全部可用素材（与旧逻辑一致） - 高频查询异常 → 跳过排除（不变） - 更新 test_all_exhausted_returns_empty → 回退语义 - 新增 test_smart_match_fallback.py 7 用例覆盖各回退路径	2026-09-01 00:43:57 +08:00
CI Bot	87cca302f4	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 13:26:58 +00:00
xiaoxia	6e76b45d34	feat: 统一模板 segments 数据源为 template_clip_configs ... - list_segments/list_by_user 优先读 clip_configs，回退 template_segments - create_segments 写入 clip_configs，material_type 存 config JSON - copy_template 复用 create_segments，使用 created.id - delete 复用 delete_segments_by_template 清理两张表 - migration 060: 方言感知(postgresql/mysql)一次性迁移历史数据 - 11 个新测试 + 120 个现有测试全部通过 Closes #1579	2026-08-31 19:58:51 +08:00
xiaoxia	afe78fb25f	feat: 成片 duplicate_rate 百分比 + 素材高频使用自动排除 (#1573) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 16:56:52 +08:00
xiaoxia	dc816991d6	fix(assets): smart-match 响应扁平化——item 顶层直出素材字段，修复自动选素材全链路 404/422 ... P0 线上事故：前端 smartMatchAssets 按 {items: AssetItem[]} 解析， items.map(a => a.id) 直接取 id；但后端 SmartMatchItem 为 {asset: AssetResponse, score, breakdown} 包装结构，导致 id 全为 undefined → GET /assets/undefined 404 连发、POST /clips/from-assets 携带 null 422，自动模式预览无法生成、标题不显示。 修复： - SmartMatchItem 改为继承 AssetResponse 的扁平结构：id/usable/ used_duration/available_duration/used_ratio 等素材字段全部在 item 顶层，前端拿到即可用；score/breakdown 评分字段保留 - 路由用 model_dump() 解包构造，packages.domain.smart_select_assets 域层 SmartMatchResult.asset 不动，generation_tasks 内部生成链路 （[r.asset.id for r in results]）零影响 - ClipsFromAssetsRequest 加 pre validator 过滤 null/空串/空白 id； from-assets 路由层二次归一化兜底，全非法时 400 而非 422/500 测试：扁平结构 3 用例（顶层 id/无 asset 包装/余量字段可读/评分保留）、 端点 TestClient 断言更新、from-assets 容错 4 用例；相关 95 用例全过	2026-08-31 13:35:05 +08:00
xiaoxia	301b591037	fix(test): 清理 sys.modules 时保留 video_processing.* 模块 ... 清理逻辑跳过 video_processing.* 前缀的模块，确保 patch() 字符串 目标解析到的模块对象与 ingest_mod 内部引用的一致，避免 mock 失效。 修复 AI Code Review 阻塞级问题。	2026-08-31 11:11:43 +08:00
xiaoxia	8d8b565499	fix(test): upload_to_oss patcher 改用字符串目标，修复 ingest.py 局部 import 不生效 ... patch.object(_oss_helpers_real, ...) 对 ingest.py 函数体内的 from video_processing.oss_helpers import upload_to_oss 不生效， 改为 patch("video_processing.oss_helpers.upload_to_oss", ...) 与 thumb patcher 策略一致，确保 patch.start() 时从 sys.modules 解析模块对象再打补丁。	2026-08-31 10:57:54 +08:00
xiaoxia	2662cd78fe	fix(test): thumb patcher 改回字符串目标 ... patch.object(_thumb_gen_real) 对 ingest.py 的局部 import 不生效 （模块对象可能不同），改回 patch(字符串目标) 从 sys.modules 取真实模块打补丁。 核心修复（不注入 video_processing mock 到 sys.modules）不变。	2026-08-31 09:23:19 +08:00
CI Bot	26856e1015	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 01:11:43 +00:00
xiaoxia	e5d7fddfcf	fix(test): hevc 转码测试不再注入 video_processing mock 到 sys.modules ... 根因：sys.modules 注入 video_processing.oss_helpers / thumbnail_generator 的 MagicMock 即使清理，仍因 video_processing/__init__.py 的 `from . import oss_helpers` 导致包属性残留为 MagicMock， 跨文件污染 test_oss_helpers_pure / test_oss_upload_crash_fix / test_p02_worker_oss_fix 等（39 个用例失败）。 修复：不再向 sys.modules 注入 video_processing.* mock，改为直接 import 真实模块后用 patch.object 打补丁（patch.stop 自动还原）。 worker_app.db / celery_app mock 保留（独立包树，不影响共享工具包）。	2026-08-31 09:04:05 +08:00
xiaoxia	d2098b03ab	fix(test): hevc 转码测试恢复 sys.modules 时删除全部 mock 条目（补 #1566 漏修） (#1567) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 02:51:01 +08:00
xiaoxia	4cf6f222ed	fix(test): test_ingest_hevc_transcode_task 模块级 mock 用后清理，修复跨文件 mock 污染 (#1566) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 01:36:01 +08:00
xiaoxia	0fde7d687c	fix(test): test_dedup_engine 不再 mock packages.shared 父包，修复 50 个 thumbnail 单测被 mock 污染 (#1563) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 00:36:06 +08:00
xiaoxia	15bc55f0ff	fix(ingest): 修复竖屏 HEVC 转码方向错误（双重旋转/ffprobe 取错行/逗号转义） (#1559) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 21:56:02 +08:00
xiaoxia	61295b9c25	feat(tts): 正式合成支持克隆音色 + 保存到配音库改写 assets 素材体系 + 克隆接口支持 asset_id (#1556) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 18:46:06 +08:00
CI Bot	b69588f14d	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-30 03:38:42 +00:00
xiaoxia	1f9236bb16	fix(ingest-jobs): GET /{job_id} 查不到时返回 404 而非 500 ValueError ... 之前 job 不存在抛 ValueError，被全局异常处理映射到 500，导致客户端拿不到合理的 '未找到'语义。改为 HTTPException(404)。 补 GET 路由单测：不存在→404、存在→200 + 字段完整。	2026-08-30 11:27:27 +08:00