26 Commits

Author	SHA1	Message	Date
CI Bot	ad76eaa56f	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-03 16:39:08 +00:00
xiaoxia	43e648a0f9	fix: 直方图字段为 NULL 时的 None 防御 + ruff B905 ... - c.get("color_histogram", []) 在字段值为 None(DB NULL) 时返回 None， 后续 len(None) 抛 TypeError。改用 c.get(...) or []（3处） - zip() 添加 strict=True（a/b 已截断为 min_len，长度必然相等），修复 ruff B905	2026-09-04 00:33:38 +08:00
xiaoxia	fece382c15	fix: _bhattacharyya_coefficient 用 x**0.5 替代 np.sqrt ... 回应 AI Code Review：虽然 numpy 已在模块顶部导入（第21行）， 但该方法是纯标量计算，改用 Python 原生 ** 0.5 更清晰且无额外依赖。 直方图值均为非负，与 math.sqrt 数学等价。	2026-09-04 00:26:56 +08:00
xiaoxia	2c8337d71d	fix: 修复 AI Code Review 3 个阻塞级问题 ... 1. KeyError 风险: c['color_histogram'] → c.get('color_histogram', []) 防止存量数据缺少该字段时 Worker 崩溃 2. 直方图默认值不对称: 任一方无数据时统一返回 0.0 旧逻辑: 已有视频无直方图→0.5, 新视频无直方图→0.0 新逻辑: 任一方无数据→0.0（无法判定相似） 3. Bhattacharyya 输入已归一化（cv2.normalize 保证） compute_color_histogram 已用 cv2.normalize 处理，无需额外改动 测试：49/49 全绿	2026-09-03 23:41:15 +08:00
xiaoxia	a2a0b478a5	fix: compute_duplicate_rate 使用纯得分计算，不经过阈值过滤 ... AI Code Review 发现的阻塞级问题： - compute_duplicate_rate 之前复用 _check_fusion_duplicate， 后者有 DUPLICATE_THRESHOLD(0.7) 硬过滤， 导致相似度低于70%的视频返回0.0而不是真实值（如60.0） 修复方案：将「计算得分」和「阈值判定」分离为两个方法： - _compute_fusion_score(): 纯计算，返回原始融合得分（无阈值过滤） - _check_fusion_duplicate(): 调用 _compute_fusion_score + 阈值过滤 compute_duplicate_rate 改用 _compute_fusion_score 获取原始得分， check_duplicate / check_batch_duplicate 继续使用 _check_fusion_duplicate。 新增 5 个 _compute_fusion_score 测试（TestComputeFusionScore 类）， 修复 1 个 compute_duplicate_rate 测试（断言从0.0改为30.0）。 测试：49/49 全绿（39 + 10）	2026-09-03 23:23:56 +08:00
xiaoxia	f3024e8e17	feat: pHash阈值校准+颜色直方图融合 #1658 ... Issue #1658: 提高查重检测精度 改动摘要: - PHASH_THRESHOLD 从 10 收紧到 8 - 均值 → 中位数抵抗黑帧/转场干扰 (statistics.median) - 新增帧匹配比例条件 MATCH_RATIO_THRESHOLD=0.7 - 新增 Bhattacharyya 系数融合颜色直方图 (0.7 pHash + 0.3 hist) - 删除旧 _average_histogram_similarity() - 提取 _check_fusion_duplicate() 共用方法 - 改造 compute_duplicate_rate() 使用融合逻辑 - reason 标记: phash_histogram_fusion / batch_phash_histogram_fusion - 向后兼容: 无直方图数据时 hist_similarity 回退到 0.5 新增常量: - PHASH_THRESHOLD = 8 - MATCH_RATIO_THRESHOLD = 0.7 - DUPLICATE_THRESHOLD = 0.70 - PHASH_WEIGHT = 0.7 - HISTOGRAM_WEIGHT = 0.3 测试: - test_dedup_v2.py: 34 个新测试全绿 - test_dedup_pure.py: 删除10个引用已删除方法的旧测试, 剩余10个全绿 - 总计 44 个测试全部通过	2026-09-03 23:07:15 +08:00
saas-backend-agent	cbca0c3584	feat: 分片指纹存储改造 + 存量指纹重建脚本 #1657 ... ## 改动 ### 1. 新建 video_fingerprint_chunks 表（Migration 063） - 按时间分片存储 pHash + color_histogram - 索引：video_id, project_id, user_id ### 2. 新增 VideoFingerprintChunkModel - packages/adapters/sqlalchemy_impl/models.py ### 3. 改造 dedup.py 指纹计算 - compute_fingerprint() 改为按时间分片抽帧 - 短视频（≤60s）：每 2s 一片 - 长视频（>60s）：每 5s 一片 - VideoFingerprint 新增 chunks 字段（list of FingerprintChunk） - 向后兼容：keyframe_phashes/color_histograms 保留 - to_chunk_models() 方法转换为 SQLAlchemy Model - check_duplicate() 优先从分片表读取，回退到 JSON 字段 - check_duplicate_task() 写入分片表 ### 4. 改造 dedup_helpers.py - create_video_record_and_dedup() 同步写入分片表 ### 5. 存量指纹重建脚本 - apps/api/scripts/rebuild_fingerprint_chunks.py - 支持 --dry-run 和 --batch-size - 幂等：已有分片数据的视频跳过 ### 6. 单元测试（11 个） - 分片策略：60s→30片，120s→24片 - to_chunk_models() 输出正确 - _save_fingerprint_chunks 幂等性 - to_dict() 向后兼容 Closes #1657	2026-09-03 20:41:11 +08:00
xiaoxia	9ad729d917	fix(dedup): AI Review 阻塞问题修复——DB 层排除自身 + 文档修正 ... 1. DB 查询层排除 current_video_id： 原实现在 Python 循环里排除自身，但 GeneratedVideo 记录在查重前已 写入 DB（dedup_helpers L80 create → L126 compute_duplicate_rate）， 查询结果会包含自身 → MD5 完全匹配 → duplicate_rate 恒为 100%。 现在在 query 构建时即排除：query.filter(id != current_video_id) 2. 文档修正：limit(200) → "遍历最近 200 个"（与实际实现一致） 3. 测试 mock 更新：filter() 现在被调用两次（scope + self-exclusion）， 所有测试改用 chainable query_mock 模式。	2026-09-01 13:17:19 +08:00
CI Bot	1225e65cc3	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-01 05:13:39 +00:00
xiaoxia	3a9a4334df	feat(dedup): 自动查重率扩大到用户全局——跨项目比对 ... 原 compute_duplicate_rate 仅按 project_id 比较，用户在不同项目/模板 下生成的视频互不可见，导致查重率始终为 0。 修改： - dedup.py: compute_duplicate_rate 新增可选 user_id 参数； 有 user_id 时按用户全局查询（跨项目），否则回退 project_id。 查询上限从 100 提升到 200。 - dedup_helpers.py: create_video_record_and_dedup 传 user_id 给 compute_duplicate_rate。 新增测试： - test_duplicate_rate.py: +2 用例（跨项目匹配 / 空 user_id 回退） - test_dedup_helpers_user_id.py: 3 用例（user_id 透传 / 空值兼容 / duplicate_rate 写回记录） 共 107 个相关测试全过。	2026-09-01 13:06:08 +08:00
xiaoxia	afe78fb25f	feat: 成片 duplicate_rate 百分比 + 素材高频使用自动排除 (#1573) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 16:56:52 +08:00
xiaoxia	531aacb57e	fix(code-quality): 第二批 - B904 raise-without-from 批量修复 (71个) (#353)	2026-07-15 11:51:45 +08:00
CI Bot	1a57878f76	chore(backend): Phase 3 清理 — 未使用依赖删除 + pyflakes 警告清零 + 测试文件冗余清理 ... 1. 未使用依赖清理: - 从 requirements-base.txt 移除 cryptography 和 pyOpenSSL 2. pyflakes 警告清零 (apps/ + packages/ + tests/): - 移除 17 处未使用的 import (F401) - 修复 26 处未使用的局部变量 (F841): * 有副作用的赋值转为裸调用 * 无副作用的赋值直接删除 - 修复 1 处未使用的异常变量 (F841) - 修复 1 处空 except 块 3. 测试文件冗余清理: - 删除 tests/integration/test_project_management.py (模块级 skip，测试不存在的模块) - 删除 tests/integration/fixtures/duplication_routes_fixed.py (未被引用) Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-13 16:14:46 +08:00
xiaoxia	9b2e782abd	fix(worker): 修复 dedup fingerprint JSON 序列化失败 - np.float32 转原生 float (#239)	2026-07-13 08:54:58 +08:00
灵应	9f0c064f2a	feat: 任务4 视频查重 — 历史+批次双重去重 ... - Alembic 033: generation_tasks 加 batch_id 列+索引 - Route: count>1 时生成共享 batch_id - Repository: list_by_batch() 批次内查询 - dedup.py: check_batch_duplicate() 批次内查重 - Worker: 生成视频后创建 GeneratedVideo 记录 + 双重查重 - 单元测试: 6 个批次查重测试用例	2026-07-07 15:26:41 +08:00
灵应	8935196fcd	style: 后端代码black格式化	2026-07-03 18:49:54 +08:00
灵应	ed7de72b0c	refactor(dedup): 优化查重算法 — XOR 汉明距离 + 简化判定逻辑 ... - hamming_distance: 替换 zfill+字符比较为 XOR bit 计数 (bin(h1^h2).count('1')) - check_duplicate: 移除直方图融合和 best_match，返回第一个匹配 - compute_phash: 补充详细中文算法注释（DCT 步骤说明） - 修复 similarity 精度：移除 round(x, 4) 保留完整浮点精度 所有 74 个测试通过（8 个 cv2 依赖跳过）。	2026-07-01 15:37:05 +08:00
灵应	ee8c60a143	perf(duplication): 查重模块代码优化 — 修复6个代码质量问题 ... 1. 修复 hamming_distance 不等长哈希处理（hex() 前导零丢失） 2. 集成颜色直方图到 check_duplicate（此前计算但未使用，浪费 CPU） 3. check_duplicate 改为返回最佳匹配而非首个匹配 4. 修复仓库删除顺序（先删片段再删记录，防止孤儿数据） 5. 域模型添加 can_retry()/reset_for_retry()，仅 failed 状态允许重试 6. 列表接口暴露 offset/limit 分页参数	2026-07-01 14:48:15 +08:00
xiaoxia	fff644deac	fix: resolve bandit security issues and fix vitest configuration (#132)	2026-06-30 18:35:20 +08:00
xiaoxia	1217d8cef0	style: apply isort formatting to pass CI validation (#129)	2026-06-30 18:17:44 +08:00
xiaoxia	52ff2f80ad	style: apply black formatting to pass CI validation (#126)	2026-06-30 17:23:08 +08:00
API文档维护Agent	e3fb518ab2	refactor: remove all workspace_id references from codebase ... - Remove workspace_id from Pydantic models in project_management routes - Remove workspace_id from SQLAlchemy and SQLite project management repos - Remove workspace_id from worker tasks (storage keys, entity creation) - Remove workspace_id from video dedup and title usage modules - Remove workspace_id from generation and ingest worker tasks - Clean workspace_id from all test files and scripts - Remove workspace-specific test files (list_workspaces, workspace repos) Task: #14 workspace_id 残留清理	2026-06-27 22:52:09 +08:00
Celery Worker Fix Agent	8210806632	fix: 修复 Celery Worker 任务注册和导入问题 ... 1. 修复 Worker 启动入口: celery_app → worker_app.celery_app - 旧 celery_app.py 不导入任何任务模块，导致 Worker 注册 0 个任务 - 删除旧版 apps/worker/celery_app.py，统一使用 worker_app/celery_app.py 2. 为缺少装饰器的任务补充 @celery_app.task: - classification.py: classify_asset() 添加装饰器 - generation.py: generate_video() 添加装饰器，修正签名匹配 API 调用方式 3. 确保 voice_extraction 任务被正确注册: - 添加 voice_extraction 到 celery_app imports - 修复 voice_extraction.py 中错误的相对导入 (.celery_app → worker_app.celery_app) - 修复 dedup.py 中指向已删除模块的导入 4. 修复 worker_app/celery_app.py: - 添加 broker_connection_retry_on_startup=True - imports 中添加 voice_extraction 和 dedup 模块 5. 修复 Dockerfile: - CMD 改为 celery -A worker_app.celery_app - 添加非 root 用户 celery 运行 Worker 6. 新建 packages/shared/config.py 和 storage.py 兼容层 - 为 worker 任务模块提供统一的 config/storage 访问入口	2026-06-27 19:31:07 +08:00
CI Bot	c98ab4c1ef	feat: decouple API and Worker cross-service dependencies	2026-06-27 10:22:25 +08:00
CI Bot	a97e3e72e9	fix: 修复 dedup.py 语法错误和 pHash DCT 实现，修复 chunked_upload.py 缩进错误	2026-06-26 22:46:21 +08:00
CI Test	bd9e9fba45	chore: squash merge feature/voice-dedup into develop (resolve conflicts) ... - Add voice extraction and deduplication functionality - Add dedup.py for video deduplication - Add voice_extraction.py task for worker - Resolve CI/CD and deploy workflow conflicts with develop version - Keep new voice dedup features from feature branch	2026-06-26 21:23:39 +08:00