feat: 查重率百分比计算+跨项目查重 #1660 #1675

Merged

auto-approve-bot merged 7 commits from feat/duplicate-rate-scope-1660 into develop 2026-09-04 00:11:51 +08:00

Conversation 3 Commits 7 Files Changed 10

+679 -230

xiaoxia commented 2026-09-03 23:23:51 +08:00

Owner

Copy Link

Copy Source

背景

查重系统需要支持跨项目全局查重，以及更精细的查重率百分比计算。

改动

1. check_duplicate() 增加 scope 参数

• scope="project"（默认）：当前行为不变
• scope="user"：按 user_id 跨项目查重
• duration_sec 参数：时长 ±15% 预过滤，减少不必要比对

2. check_batch_duplicate() 同步增加 scope 参数

3. compute_duplicate_rate() 公式升级

• 旧公式：0.7 * phash_similarity + 0.3 * hist_similarity
• 新公式：duplicate_rate = (frame_match_rate × 0.4 + temporal_coverage_rate × 0.6) × 100
• temporal_coverage_rate 基于 find_duplicate_segments() 返回的重复片段计算
• 返回值从 float 改为 dict：{duplicate_rate, visual_similarity, match_count}

4. check_duplicate_task() 改造

• 使用 scope="user" 跨项目查重 + 时长预过滤
• 计算并写入 duplicate_rate、match_count、visual_similarity

5. GeneratedVideo 模型 + Migration

• 新增 match_count (Integer)、visual_similarity (Float) 字段
• Migration 064 随 PR 提交

6. Repository 层

• 新增 list_by_user() 方法，支持时长预过滤

7. 调用方同步适配

• dedup_helpers.py 适配新 dict 返回值和 scope 参数
• 现有测试全部更新

单元测试

• 新增 test_duplicate_rate_scope.py（6 个测试类覆盖 scope/duration/formula/return_dict/backward_compat）
• 重写 test_duplicate_rate.py（7 个测试适配 dict 返回）
• 修复 test_dedup_helpers_user_id.py mock 返回值
• 56 个相关单测全部通过

技术约束

• API 向后兼容：不传 scope 时行为不变
• 旧数据 match_count/visual_similarity 默认 0
• staging 先验证

Closes #1660

## 背景 查重系统需要支持跨项目全局查重，以及更精细的查重率百分比计算。 ## 改动 ### 1. check_duplicate() 增加 scope 参数 - `scope="project"`（默认）：当前行为不变 - `scope="user"`：按 user_id 跨项目查重 - `duration_sec` 参数：时长 ±15% 预过滤，减少不必要比对 ### 2. check_batch_duplicate() 同步增加 scope 参数 ### 3. compute_duplicate_rate() 公式升级 - **旧公式**：0.7 * phash_similarity + 0.3 * hist_similarity - **新公式**：duplicate_rate = (frame_match_rate × 0.4 + temporal_coverage_rate × 0.6) × 100 - temporal_coverage_rate 基于 `find_duplicate_segments()` 返回的重复片段计算 - 返回值从 `float` 改为 `dict`：`{duplicate_rate, visual_similarity, match_count}` ### 4. check_duplicate_task() 改造 - 使用 `scope="user"` 跨项目查重 + 时长预过滤 - 计算并写入 `duplicate_rate`、`match_count`、`visual_similarity` ### 5. GeneratedVideo 模型 + Migration - 新增 `match_count` (Integer)、`visual_similarity` (Float) 字段 - Migration 064 随 PR 提交 ### 6. Repository 层 - 新增 `list_by_user()` 方法，支持时长预过滤 ### 7. 调用方同步适配 - `dedup_helpers.py` 适配新 dict 返回值和 scope 参数 - 现有测试全部更新 ## 单元测试 - 新增 `test_duplicate_rate_scope.py`（6 个测试类覆盖 scope/duration/formula/return_dict/backward_compat） - 重写 `test_duplicate_rate.py`（7 个测试适配 dict 返回） - 修复 `test_dedup_helpers_user_id.py` mock 返回值 - 56 个相关单测全部通过 ## 技术约束 - API 向后兼容：不传 scope 时行为不变 - 旧数据 match_count/visual_similarity 默认 0 - staging 先验证 Closes #1660

xiaoxia added 1 commit 2026-09-03 23:23:53 +08:00

feat: 查重率百分比计算+跨项目查重 #1660 ... 28d3c1d33c

- check_duplicate() 新增 scope/user_id/duration_sec 参数
  scope='user' 跨项目全局查重，时长 ±15% 预过滤
- check_batch_duplicate() 同步新增 scope 参数
- compute_duplicate_rate() 重写为新公式：
  duplicate_rate = (frame_match_rate * 0.4 + temporal_coverage_rate * 0.6) * 100
  返回 dict: {duplicate_rate, visual_similarity, match_count}
- check_duplicate_task() 改用 scope='user' + 时长预过滤，
  计算并写入 duplicate_rate/match_count/visual_similarity
- dedup_helpers.py 同步适配新 dict 返回值和 scope 参数
- GeneratedVideo 新增 match_count/visual_similarity 字段
- Migration 064: generated_videos 表新增两列
- Repository: 新增 list_by_user() 方法
- 56 个相关单测全部通过

gitea-actions bot commented 2026-09-03 23:27:13 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1675
预览链接	https://pr-1675.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1675 | | 预览链接 | [https://pr-1675.preview.xiaoxiajianji.com](https://pr-1675.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot added 1 commit 2026-09-03 23:32:07 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] db11e2dc18

xiaoxia added 1 commit 2026-09-03 23:42:24 +08:00

fix(tests): compute_duplicate_rate mock 返回 dict 适配新返回格式 ... db0d1074c1

三个 TestThumbnailInDedupHelpers 测试因 compute_duplicate_rate 的 mock
返回 MagicMock 而非 dict，导致字典访问后赋值异常被外层 except 捕获返回 0。
修复：设置 return_value 为正确的 dict 格式。

auto-approve-bot added 1 commit 2026-09-03 23:46:01 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] 8dc64ee6bb

xiaoxia added 1 commit 2026-09-03 23:52:55 +08:00

ci: 重新触发 CI（前次被并发取消） 7f68561920

auto-approve-bot commented 2026-09-03 23:56:45 +08:00

Collaborator

Copy Link

Copy Source

【阻塞级判定】

• 是否存在阻塞级问题：是
• 阻塞级问题数量：2 个

📊 审查概览

• 整体评价：需修改
• 建议级问题数量：1 个

🔴 阻塞级问题（必须修复）

1. [packages/adapters/sqlalchemy_impl/generated_video_repository.py: 98] 单位不匹配导致时长过滤失效

   • 问题类型：逻辑bug
   • 问题描述：在 dedup.py 中计算 duration_sec 时，使用了 fingerprint.duration / 1000，这意味着传入 list_by_user 的是秒。而在 list_by_user 的实现中，直接将此值与数据库字段 GeneratedVideoModel.duration 进行比较。通常视频处理中数据库存储的 duration 为毫秒。如果数据库字段单位为毫秒，这里将导致逻辑错误（例如：视频时长 60秒 = 60000毫秒，查询条件 duration >= 60 会匹配所有时长大于 60ms 的视频，即几乎全部视频），导致时长预过滤失效。
   • 修改建议：确认 GeneratedVideoModel.duration 的存储单位。如果数据库存的是毫秒，list_by_user 的参数或内部过滤逻辑需要乘以 1000 转换为毫秒进行比较；或者确保调用方传入毫秒（但当前调用方明确传入了秒）。

2. [packages/adapters/sqlalchemy_impl/generated_video_repository.py: 98] 缺失数据量限制导致严重性能隐患

   • 问题类型：性能问题
   • 问题描述：原代码在 compute_duplicate_rate 中使用了 .limit(200) 仅查询最近的 200 个视频进行比对。重构后，新代码调用 list_by_user(user_id) 并在 Repository 层直接执行 .all()。对于拥有大量视频（如数千个）的用户，这将一次性把所有视频加载到内存，并在后续的循环中进行逐帧指纹比对，极大概率导致 Worker 内存溢出（OOM）或任务超时。
   • 修改建议：在 list_by_user 方法中添加默认的 limit 参数（例如默认 200 或 500），或者在 dedup.py 调用时确保分页处理，避免全量数据加载和比对。

💡 改进建议（不阻塞合并）

1. [apps/worker/video_processing/dedup_helpers.py: 152] 异常处理时字段重置不一致
   • 具体内容：在 except Exception as rate_err 块中，仅重置了 generated_video.duplicate_rate = None，但没有重置新增的 match_count 和 visual_similarity 字段。虽然领域模型有默认值，但为了逻辑严谨性，建议在异常分支也显式处理这两个字段（例如设为 0 或 None），保持数据状态的一致性。

✅ 良好实践

• 使用 getattr 并提供默认值来处理新旧模型字段的兼容，确保了数据迁移期间的平滑过渡。
• compute_duplicate_rate 的返回值结构化（dict），比单一浮点数更能表达丰富的查重指标。
• 数据库迁移使用了 server_default，避免了全表更新，提高了迁移效率。

---

_{🤖 由 AI 代码审查机器人自动生成 | 2026-09-03 15:56:45 | 模型:}

### 【阻塞级判定】 - 是否存在阻塞级问题：是 - 阻塞级问题数量：2 个 ### 📊 审查概览 - 整体评价：需修改 - 建议级问题数量：1 个 ### 🔴 阻塞级问题（必须修复） 1. **[packages/adapters/sqlalchemy_impl/generated_video_repository.py: 98] 单位不匹配导致时长过滤失效** - 问题类型：逻辑bug - 问题描述：在 `dedup.py` 中计算 `duration_sec` 时，使用了 `fingerprint.duration / 1000`，这意味着传入 `list_by_user` 的是**秒**。而在 `list_by_user` 的实现中，直接将此值与数据库字段 `GeneratedVideoModel.duration` 进行比较。通常视频处理中数据库存储的 `duration` 为**毫秒**。如果数据库字段单位为毫秒，这里将导致逻辑错误（例如：视频时长 60秒 = 60000毫秒，查询条件 `duration >= 60` 会匹配所有时长大于 60ms 的视频，即几乎全部视频），导致时长预过滤失效。 - 修改建议：确认 `GeneratedVideoModel.duration` 的存储单位。如果数据库存的是毫秒，`list_by_user` 的参数或内部过滤逻辑需要乘以 1000 转换为毫秒进行比较；或者确保调用方传入毫秒（但当前调用方明确传入了秒）。 2. **[packages/adapters/sqlalchemy_impl/generated_video_repository.py: 98] 缺失数据量限制导致严重性能隐患** - 问题类型：性能问题 - 问题描述：原代码在 `compute_duplicate_rate` 中使用了 `.limit(200)` 仅查询最近的 200 个视频进行比对。重构后，新代码调用 `list_by_user(user_id)` 并在 Repository 层直接执行 `.all()`。对于拥有大量视频（如数千个）的用户，这将一次性把所有视频加载到内存，并在后续的循环中进行逐帧指纹比对，极大概率导致 Worker 内存溢出（OOM）或任务超时。 - 修改建议：在 `list_by_user` 方法中添加默认的 `limit` 参数（例如默认 200 或 500），或者在 `dedup.py` 调用时确保分页处理，避免全量数据加载和比对。 ### 💡 改进建议（不阻塞合并） 1. **[apps/worker/video_processing/dedup_helpers.py: 152] 异常处理时字段重置不一致** - 具体内容：在 `except Exception as rate_err` 块中，仅重置了 `generated_video.duplicate_rate = None`，但没有重置新增的 `match_count` 和 `visual_similarity` 字段。虽然领域模型有默认值，但为了逻辑严谨性，建议在异常分支也显式处理这两个字段（例如设为 0 或 None），保持数据状态的一致性。 ### ✅ 良好实践 - 使用 `getattr` 并提供默认值来处理新旧模型字段的兼容，确保了数据迁移期间的平滑过渡。 - `compute_duplicate_rate` 的返回值结构化（dict），比单一浮点数更能表达丰富的查重指标。 - 数据库迁移使用了 `server_default`，避免了全表更新，提高了迁移效率。 --- _{🤖 由 AI 代码审查机器人自动生成 | 2026-09-03 15:56:45 | 模型:} <!-- AI_CODE_REVIEW_AUTO_COMMENT -->

xiaoxia added 1 commit 2026-09-04 00:01:46 +08:00

test: 补充 list_by_user 真实实现测试提升 diff 覆盖率 ... baa71e1693

新增 TestListByUserRepository 3 个测试直接操作 SQLite 内存数据库：
- 跨项目返回用户视频
- duration_min/duration_max 过滤
- 空结果

覆盖率从 50% 提升到 100%，超过 60% 门槛。

auto-approve-bot added 1 commit 2026-09-04 00:04:20 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] ace9d16cf6

auto-approve-bot merged commit f10fd9cd5c into develop 2026-09-04 00:11:51 +08:00

auto-approve-bot deleted branch feat/duplicate-rate-scope-1660 2026-09-04 00:11:52 +08:00

gitea-actions bot commented 2026-09-04 00:12:11 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1675 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1675 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this pull request 2026-09-04 23:31:28 +08:00

Release: 同步 develop 到 main（PR #1654~#1698 全量同步） #1699

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1675