13 Commits

Author	SHA1	Message	Date
xiaoxia	28b3010668	fix(dedup): 修复查重率恒为0%——指纹绕开降重裁剪+局部片段复用+阈值校准+3个单位bug (#1702) (#1703) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 07:57:23 +08:00
CI Bot	a0d4f6e111	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-03 15:04:14 +00:00
xiaoxia	fac80b1f77	feat(dedup): 动态抽帧 + 滑动窗口时序匹配 (#1659) ... 1. 动态抽帧策略 — detect_keyframe_timestamps() - 降采样到 320x240 逐帧灰度差异检测场景切换 - 最小间隔过滤（保留差异最大的候选帧） - 数量裁剪到 [MIN_KEYFRAMES=5, MAX_KEYFRAMES=30] - 长视频（>3分钟）每 30 秒分段保底 2. 滑动窗口时序匹配 — find_duplicate_segments() - 逐帧最佳匹配 → 连续 run 检测（允许 MAX_GAP=2 间隙） - 最少 MIN_CONSECUTIVE_MATCHES=5 帧才报告 - 返回 DuplicateSegment（query/target 时间范围 + 平均距离） 3. 查重算法升级 - 均值距离 → 中位数距离（抵抗异常值） - 新增帧匹配比例条件（match_ratio >= 0.7） - Bhattacharyya 系数替代余弦相似度 - pHash + 直方图加权融合（0.7/0.3） - 判定重复后附加 duplicate_segments 字段 4. 删除旧代码 - 移除 SHORT_VIDEO_CHUNK_SEC/LONG_VIDEO_CHUNK_SEC 固定间隔 - 移除 compute_chunk_interval() - 移除 _average_histogram_similarity() 5. 测试 - 新增 test_dedup_v2.py: 34 个测试 - 更新 test_dedup_engine.py/test_duplicate_rate.py/test_dedup_pure.py - 清理 test_fingerprint_chunks.py 中旧常量测试	2026-09-03 23:00:21 +08:00
xiaoxia	0fde7d687c	fix(test): test_dedup_engine 不再 mock packages.shared 父包，修复 50 个 thumbnail 单测被 mock 污染 (#1563) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 00:36:06 +08:00
CI Bot	1a57878f76	chore(backend): Phase 3 清理 — 未使用依赖删除 + pyflakes 警告清零 + 测试文件冗余清理 ... 1. 未使用依赖清理: - 从 requirements-base.txt 移除 cryptography 和 pyOpenSSL 2. pyflakes 警告清零 (apps/ + packages/ + tests/): - 移除 17 处未使用的 import (F401) - 修复 26 处未使用的局部变量 (F841): * 有副作用的赋值转为裸调用 * 无副作用的赋值直接删除 - 修复 1 处未使用的异常变量 (F841) - 修复 1 处空 except 块 3. 测试文件冗余清理: - 删除 tests/integration/test_project_management.py (模块级 skip，测试不存在的模块) - 删除 tests/integration/fixtures/duplication_routes_fixed.py (未被引用) Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-13 16:14:46 +08:00
灵应	9f0c064f2a	feat: 任务4 视频查重 — 历史+批次双重去重 ... - Alembic 033: generation_tasks 加 batch_id 列+索引 - Route: count>1 时生成共享 batch_id - Repository: list_by_batch() 批次内查询 - dedup.py: check_batch_duplicate() 批次内查重 - Worker: 生成视频后创建 GeneratedVideo 记录 + 双重查重 - 单元测试: 6 个批次查重测试用例	2026-07-07 15:26:41 +08:00
xiaoxia	fd90d7730c	fix: CI全面修复 - node镜像拉取/204响应体断言/phash测试用例 ... 1. 前端node镜像去掉--pull=never，缺失时自动拉取 - ci-cd.yml: 5处前端lint/test步骤 - deploy.yml: 2处web构建步骤 2. 修复from __future__ import annotations导致的204路由断言失败 - FastAPI 0.115 把字符串"None"当作有效response_model - 给9个路由文件的204 DELETE路由显式加response_model=None 3. 修复phash测试用例：纯色图pHash必然相同（DC分量被排除） - 改用随机噪声图测试差异性	2026-07-03 21:50:12 +08:00
灵应	9519216df4	fix: 全面修复CI Validate阶段所有检查失败项 ... - 修复 video_compose_service.py StrEnum Python 3.10 兼容性（添加回退实现） - 修复 test_dedup_engine.py celery mock 污染导致测试收集失败 - 修复 edit_plans.py update_plan 路由：不存在返回 404 而非 400 - 修复 edit_plans.py generate_plan/get_generation_status 路由：不存在返回 404 - 修复 edit_templates.py update_template 路由：不存在返回 404 而非 400 - 修复 upload.py 添加 image/svg+xml 到允许的 MIME 类型 - 修复 test_edit_plans_api.py StubEditPlanRepository 添加 delete_by_plan 方法 CI Validate 8 项检查全部通过：compileall/black/isort/flake8/bandit/bash-n/alembic/pytest 831 单元测试全部通过，0 失败	2026-07-03 21:06:05 +08:00
灵应	5ca3bbab31	fix: 修复flake8代码质量检查错误	2026-07-03 19:24:17 +08:00
灵应	8935196fcd	style: 后端代码black格式化	2026-07-03 18:49:54 +08:00
CI Test	d6b11ea1cd	fix: 清理全局 except:pass（22处）改为 logger.warning 记录异常	2026-07-03 09:38:57 +08:00
灵应	aa94a48cc4	fix: 修复 Phase 8 测试导入错误 + 升级 psycopg 版本 ... 问题 1: Phase 8 API 测试导入错误（72 个测试跳过） - 修复 pytest.ini pythonpath 配置，添加 apps/api 和 apps/worker - 修复 tests/conftest.py 环境变量设置顺序，确保在 app 导入前设置 - 修复 test_dedup_engine.py worker_app 命名空间污染问题 - 修复 test_edit_templates_api.py/test_edit_plans_api.py/test_edit_plan_generation_api.py 的 Repository patch 目标（从 route 模块改为 service 模块） - 修复 test_duplication_api.py 和 test_duplication_upload_error_handling.py 的 sys.modules 保存/恢复机制 - 跳过 test_project_management.py（项目管理功能尚未实现） 问题 2: psycopg 版本不兼容 Python 3.13 - 升级 psycopg[binary] 从 ==3.1.18 到 >=3.2.2 测试结果: - 926 个测试通过（超过目标的 821 个） - 所有 72 个 Phase 8 测试成功收集并运行 - 21 个失败 + 6 个错误为预存在的集成测试问题	2026-07-02 19:09:27 +08:00
灵应	112021c16c	test: 补充查重模块单元测试与集成测试 ... - 查重引擎单元测试 (test_dedup_engine.py): 25 用例 - hamming_distance XOR bit 计数验证 - compute_phash / compute_color_histogram（需 cv2，无则跳过） - check_duplicate 相似度判定逻辑（MD5 精确匹配、pHash 阈值、首次匹配返回） - 查重领域模型测试 (test_duplication_domain.py): 22 用例 - DuplicationRecord.create() 工厂方法校验 - 状态转换（pending → processing → completed/failed） - DuplicateSegment.create() 参数校验 - 查重用例层测试 (test_duplication_use_cases.py): 15 用例 - UploadForDuplicationUseCase / ListDuplicationRecordsUseCase - GetDuplicationDetailUseCase / DeleteDuplicationRecordUseCase - RetryDuplicationUseCase 状态重置逻辑 - 查重 API 集成测试 (test_duplication_api.py): 20 用例 - 列表/详情/删除/重试 4 个端点的正常流程与异常场景 - 跨用户隔离验证 - 跨端点组合场景测试 覆盖率: 422 passed, 8 skipped (cv2-dependent), 0 failures	2026-07-01 15:31:31 +08:00