31 Commits

Author	SHA1	Message	Date
xiaoxia	cf83c0df9f	fix(dedup): pHash阈值二次校准12→16 + 时序对齐允许±1反向抖动，修复降重同源对漏检 (#1702) (#1709) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 11:30:11 +08:00
xiaoxia	ca7f875224	fix(dedup): scope=user跨项目查重不做时长预过滤，同源不同时长视频可互相检出 (#1702) (#1708) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 10:12:50 +08:00
xiaoxia	15909a92e5	fix(dedup): check_duplicate支持exclude_video_id，修复recompute自匹配 (#1702) (#1706)	2026-09-05 09:38:17 +08:00
xiaoxia	7a4aa27f71	fix(dedup): recompute任务从file_url派生OSS下载key，修复重算404 (#1702) (#1705) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 08:36:19 +08:00
xiaoxia	28b3010668	fix(dedup): 修复查重率恒为0%——指纹绕开降重裁剪+局部片段复用+阈值校准+3个单位bug (#1702) (#1703) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 07:57:23 +08:00
xiaoxia	4633126bb4	fix: 查重系统黑屏视频过滤 — 跳过坏指纹防止虚假匹配 #1664 (#1688) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 14:56:47 +08:00
xiaoxia	2a2dfad137	feat: pHash阈值校准+颜色直方图融合 #1658 (#1674) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 02:06:58 +08:00
xiaoxia	f10fd9cd5c	feat: 查重率百分比计算+跨项目查重 #1660 (#1675) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 00:11:51 +08:00
xiaoxia	db9ee89ffa	fix(dedup): ruff lint 修复 — 未使用变量 + zip strict + 冗余 import (#1659)	2026-09-03 23:09:19 +08:00
CI Bot	a0d4f6e111	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-03 15:04:14 +00:00
xiaoxia	fac80b1f77	feat(dedup): 动态抽帧 + 滑动窗口时序匹配 (#1659) ... 1. 动态抽帧策略 — detect_keyframe_timestamps() - 降采样到 320x240 逐帧灰度差异检测场景切换 - 最小间隔过滤（保留差异最大的候选帧） - 数量裁剪到 [MIN_KEYFRAMES=5, MAX_KEYFRAMES=30] - 长视频（>3分钟）每 30 秒分段保底 2. 滑动窗口时序匹配 — find_duplicate_segments() - 逐帧最佳匹配 → 连续 run 检测（允许 MAX_GAP=2 间隙） - 最少 MIN_CONSECUTIVE_MATCHES=5 帧才报告 - 返回 DuplicateSegment（query/target 时间范围 + 平均距离） 3. 查重算法升级 - 均值距离 → 中位数距离（抵抗异常值） - 新增帧匹配比例条件（match_ratio >= 0.7） - Bhattacharyya 系数替代余弦相似度 - pHash + 直方图加权融合（0.7/0.3） - 判定重复后附加 duplicate_segments 字段 4. 删除旧代码 - 移除 SHORT_VIDEO_CHUNK_SEC/LONG_VIDEO_CHUNK_SEC 固定间隔 - 移除 compute_chunk_interval() - 移除 _average_histogram_similarity() 5. 测试 - 新增 test_dedup_v2.py: 34 个测试 - 更新 test_dedup_engine.py/test_duplicate_rate.py/test_dedup_pure.py - 清理 test_fingerprint_chunks.py 中旧常量测试	2026-09-03 23:00:21 +08:00
saas-backend-agent	cbca0c3584	feat: 分片指纹存储改造 + 存量指纹重建脚本 #1657 ... ## 改动 ### 1. 新建 video_fingerprint_chunks 表（Migration 063） - 按时间分片存储 pHash + color_histogram - 索引：video_id, project_id, user_id ### 2. 新增 VideoFingerprintChunkModel - packages/adapters/sqlalchemy_impl/models.py ### 3. 改造 dedup.py 指纹计算 - compute_fingerprint() 改为按时间分片抽帧 - 短视频（≤60s）：每 2s 一片 - 长视频（>60s）：每 5s 一片 - VideoFingerprint 新增 chunks 字段（list of FingerprintChunk） - 向后兼容：keyframe_phashes/color_histograms 保留 - to_chunk_models() 方法转换为 SQLAlchemy Model - check_duplicate() 优先从分片表读取，回退到 JSON 字段 - check_duplicate_task() 写入分片表 ### 4. 改造 dedup_helpers.py - create_video_record_and_dedup() 同步写入分片表 ### 5. 存量指纹重建脚本 - apps/api/scripts/rebuild_fingerprint_chunks.py - 支持 --dry-run 和 --batch-size - 幂等：已有分片数据的视频跳过 ### 6. 单元测试（11 个） - 分片策略：60s→30片，120s→24片 - to_chunk_models() 输出正确 - _save_fingerprint_chunks 幂等性 - to_dict() 向后兼容 Closes #1657	2026-09-03 20:41:11 +08:00
xiaoxia	9ad729d917	fix(dedup): AI Review 阻塞问题修复——DB 层排除自身 + 文档修正 ... 1. DB 查询层排除 current_video_id： 原实现在 Python 循环里排除自身，但 GeneratedVideo 记录在查重前已 写入 DB（dedup_helpers L80 create → L126 compute_duplicate_rate）， 查询结果会包含自身 → MD5 完全匹配 → duplicate_rate 恒为 100%。 现在在 query 构建时即排除：query.filter(id != current_video_id) 2. 文档修正：limit(200) → "遍历最近 200 个"（与实际实现一致） 3. 测试 mock 更新：filter() 现在被调用两次（scope + self-exclusion）， 所有测试改用 chainable query_mock 模式。	2026-09-01 13:17:19 +08:00
CI Bot	1225e65cc3	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-01 05:13:39 +00:00
xiaoxia	3a9a4334df	feat(dedup): 自动查重率扩大到用户全局——跨项目比对 ... 原 compute_duplicate_rate 仅按 project_id 比较，用户在不同项目/模板 下生成的视频互不可见，导致查重率始终为 0。 修改： - dedup.py: compute_duplicate_rate 新增可选 user_id 参数； 有 user_id 时按用户全局查询（跨项目），否则回退 project_id。 查询上限从 100 提升到 200。 - dedup_helpers.py: create_video_record_and_dedup 传 user_id 给 compute_duplicate_rate。 新增测试： - test_duplicate_rate.py: +2 用例（跨项目匹配 / 空 user_id 回退） - test_dedup_helpers_user_id.py: 3 用例（user_id 透传 / 空值兼容 / duplicate_rate 写回记录） 共 107 个相关测试全过。	2026-09-01 13:06:08 +08:00
xiaoxia	afe78fb25f	feat: 成片 duplicate_rate 百分比 + 素材高频使用自动排除 (#1573) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 16:56:52 +08:00
xiaoxia	531aacb57e	fix(code-quality): 第二批 - B904 raise-without-from 批量修复 (71个) (#353)	2026-07-15 11:51:45 +08:00
CI Bot	1a57878f76	chore(backend): Phase 3 清理 — 未使用依赖删除 + pyflakes 警告清零 + 测试文件冗余清理 ... 1. 未使用依赖清理: - 从 requirements-base.txt 移除 cryptography 和 pyOpenSSL 2. pyflakes 警告清零 (apps/ + packages/ + tests/): - 移除 17 处未使用的 import (F401) - 修复 26 处未使用的局部变量 (F841): * 有副作用的赋值转为裸调用 * 无副作用的赋值直接删除 - 修复 1 处未使用的异常变量 (F841) - 修复 1 处空 except 块 3. 测试文件冗余清理: - 删除 tests/integration/test_project_management.py (模块级 skip，测试不存在的模块) - 删除 tests/integration/fixtures/duplication_routes_fixed.py (未被引用) Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-13 16:14:46 +08:00
xiaoxia	9b2e782abd	fix(worker): 修复 dedup fingerprint JSON 序列化失败 - np.float32 转原生 float (#239)	2026-07-13 08:54:58 +08:00
灵应	9f0c064f2a	feat: 任务4 视频查重 — 历史+批次双重去重 ... - Alembic 033: generation_tasks 加 batch_id 列+索引 - Route: count>1 时生成共享 batch_id - Repository: list_by_batch() 批次内查询 - dedup.py: check_batch_duplicate() 批次内查重 - Worker: 生成视频后创建 GeneratedVideo 记录 + 双重查重 - 单元测试: 6 个批次查重测试用例	2026-07-07 15:26:41 +08:00
灵应	8935196fcd	style: 后端代码black格式化	2026-07-03 18:49:54 +08:00
灵应	ed7de72b0c	refactor(dedup): 优化查重算法 — XOR 汉明距离 + 简化判定逻辑 ... - hamming_distance: 替换 zfill+字符比较为 XOR bit 计数 (bin(h1^h2).count('1')) - check_duplicate: 移除直方图融合和 best_match，返回第一个匹配 - compute_phash: 补充详细中文算法注释（DCT 步骤说明） - 修复 similarity 精度：移除 round(x, 4) 保留完整浮点精度 所有 74 个测试通过（8 个 cv2 依赖跳过）。	2026-07-01 15:37:05 +08:00
灵应	ee8c60a143	perf(duplication): 查重模块代码优化 — 修复6个代码质量问题 ... 1. 修复 hamming_distance 不等长哈希处理（hex() 前导零丢失） 2. 集成颜色直方图到 check_duplicate（此前计算但未使用，浪费 CPU） 3. check_duplicate 改为返回最佳匹配而非首个匹配 4. 修复仓库删除顺序（先删片段再删记录，防止孤儿数据） 5. 域模型添加 can_retry()/reset_for_retry()，仅 failed 状态允许重试 6. 列表接口暴露 offset/limit 分页参数	2026-07-01 14:48:15 +08:00
xiaoxia	fff644deac	fix: resolve bandit security issues and fix vitest configuration (#132)	2026-06-30 18:35:20 +08:00
xiaoxia	1217d8cef0	style: apply isort formatting to pass CI validation (#129)	2026-06-30 18:17:44 +08:00
xiaoxia	52ff2f80ad	style: apply black formatting to pass CI validation (#126)	2026-06-30 17:23:08 +08:00
API文档维护Agent	e3fb518ab2	refactor: remove all workspace_id references from codebase ... - Remove workspace_id from Pydantic models in project_management routes - Remove workspace_id from SQLAlchemy and SQLite project management repos - Remove workspace_id from worker tasks (storage keys, entity creation) - Remove workspace_id from video dedup and title usage modules - Remove workspace_id from generation and ingest worker tasks - Clean workspace_id from all test files and scripts - Remove workspace-specific test files (list_workspaces, workspace repos) Task: #14 workspace_id 残留清理	2026-06-27 22:52:09 +08:00
Celery Worker Fix Agent	8210806632	fix: 修复 Celery Worker 任务注册和导入问题 ... 1. 修复 Worker 启动入口: celery_app → worker_app.celery_app - 旧 celery_app.py 不导入任何任务模块，导致 Worker 注册 0 个任务 - 删除旧版 apps/worker/celery_app.py，统一使用 worker_app/celery_app.py 2. 为缺少装饰器的任务补充 @celery_app.task: - classification.py: classify_asset() 添加装饰器 - generation.py: generate_video() 添加装饰器，修正签名匹配 API 调用方式 3. 确保 voice_extraction 任务被正确注册: - 添加 voice_extraction 到 celery_app imports - 修复 voice_extraction.py 中错误的相对导入 (.celery_app → worker_app.celery_app) - 修复 dedup.py 中指向已删除模块的导入 4. 修复 worker_app/celery_app.py: - 添加 broker_connection_retry_on_startup=True - imports 中添加 voice_extraction 和 dedup 模块 5. 修复 Dockerfile: - CMD 改为 celery -A worker_app.celery_app - 添加非 root 用户 celery 运行 Worker 6. 新建 packages/shared/config.py 和 storage.py 兼容层 - 为 worker 任务模块提供统一的 config/storage 访问入口	2026-06-27 19:31:07 +08:00
CI Bot	c98ab4c1ef	feat: decouple API and Worker cross-service dependencies	2026-06-27 10:22:25 +08:00
CI Bot	a97e3e72e9	fix: 修复 dedup.py 语法错误和 pHash DCT 实现，修复 chunked_upload.py 缩进错误	2026-06-26 22:46:21 +08:00
CI Test	bd9e9fba45	chore: squash merge feature/voice-dedup into develop (resolve conflicts) ... - Add voice extraction and deduplication functionality - Add dedup.py for video deduplication - Add voice_extraction.py task for worker - Resolve CI/CD and deploy workflow conflicts with develop version - Keep new voice dedup features from feature branch	2026-06-26 21:23:39 +08:00