fix(dedup): scope=user跨项目查重不做时长预过滤，同源不同时长视频可互相检出 (#1702) #1708

Merged

auto-approve-bot merged 1 commits from fix/dedup-skip-duration-prefilter-1702 into develop 2026-09-05 10:12:50 +08:00

Conversation 3 Commits 1 Files Changed 3

+57 -18

xiaoxia commented 2026-09-05 10:08:26 +08:00

Owner

Copy Link

Copy Source

背景

Issue #1702 主修复（#1703）及连带修复（#1705 OSS key、#1706 排除自匹配）合并后，staging 第四轮验证发现：两个同源证据视频（20s vs 11s，同镜头同人物）compute_duplicate_rate 已能正确算出 27.27% / 36.36%，但 check_duplicate 判定 is_duplicate 仍为 False。

根因

check_duplicate 的 scope=user 分支用 ±15% 时长窗口预过滤候选：

dur_min = duration_sec * 0.85
dur_max = duration_sec * 1.15
existing_videos = video_repo.list_by_user(user_id, duration_min=dur_min, duration_max=dur_max)

局部片段复用（本次核心支持场景）的两个视频时长必然不同：

• A(20s) 窗口 [17s, 23s] → 找不到 B(11s)
• B(11s) 窗口 [9.4s, 12.6s] → 找不到 A(20s)

同源视频互相不在候选列表中，fusion 再准也没有比对对象 → is_duplicate 恒 False。

改动

• apps/worker/video_processing/dedup.py：scope=user 改为 list_by_user(user_id) 全量遍历同用户视频，不传 duration_min/max，与 compute_duplicate_rate 口径一致。异源视频由 fusion/temporal_coverage 阈值天然过滤（校准数据：staging 真实指纹异源最小汉明距离 24，阈值 12，安全裕度充足）。
• tests/unit/test_duplicate_rate_scope.py：TestDurationPrefilter 重写为断言 scope=user / scope=project 均不传时长过滤参数（3 用例）。

测试

• 查重相关全量单测：285 passed, 10 skipped
• black/isort/ruff 全绿

验收

合并部署 staging 后重算两个证据视频，预期 A/B 均 is_duplicate=True 且 duplicate_of 互相指向对方。

## 背景 Issue #1702 主修复（#1703）及连带修复（#1705 OSS key、#1706 排除自匹配）合并后，staging 第四轮验证发现：两个同源证据视频（20s vs 11s，同镜头同人物）`compute_duplicate_rate` 已能正确算出 **27.27% / 36.36%**，但 `check_duplicate` 判定 `is_duplicate` 仍为 False。 ## 根因 `check_duplicate` 的 scope=user 分支用 ±15% 时长窗口预过滤候选： ```python dur_min = duration_sec * 0.85 dur_max = duration_sec * 1.15 existing_videos = video_repo.list_by_user(user_id, duration_min=dur_min, duration_max=dur_max) ``` 局部片段复用（本次核心支持场景）的两个视频时长必然不同： - A(20s) 窗口 [17s, 23s] → 找不到 B(11s) - B(11s) 窗口 [9.4s, 12.6s] → 找不到 A(20s) 同源视频互相不在候选列表中，fusion 再准也没有比对对象 → `is_duplicate` 恒 False。 ## 改动 - `apps/worker/video_processing/dedup.py`：scope=user 改为 `list_by_user(user_id)` 全量遍历同用户视频，不传 duration_min/max，与 `compute_duplicate_rate` 口径一致。异源视频由 fusion/temporal_coverage 阈值天然过滤（校准数据：staging 真实指纹异源最小汉明距离 24，阈值 12，安全裕度充足）。 - `tests/unit/test_duplicate_rate_scope.py`：TestDurationPrefilter 重写为断言 scope=user / scope=project 均不传时长过滤参数（3 用例）。 ## 测试 - 查重相关全量单测：**285 passed, 10 skipped** - black/isort/ruff 全绿 ## 验收 合并部署 staging 后重算两个证据视频，预期 A/B 均 `is_duplicate=True` 且 `duplicate_of` 互相指向对方。

xiaoxia added 1 commit 2026-09-05 10:08:26 +08:00

fix(dedup): scope=user跨项目查重去掉±15%时长预过滤，修复同源不同时长视频互相不可见 (Issue #1702连带修复) ... 49bdc6fd75

check_duplicate 的 scope=user 分支旧逻辑按 duration_sec*0.85~1.15
缩小候选窗口。局部片段复用场景下两个视频时长必然不同（staging 证据
视频 20s vs 11s，差 42%），±15% 窗口导致 A/B 互相不在候选列表中：
compute_duplicate_rate 能算出 27.27%/36.36%，但 is_duplicate 恒 False。

改动：
- scope=user 改为 video_repo.list_by_user(user_id) 全量遍历同用户视频，
  与 compute_duplicate_rate 口径一致；异源视频由 fusion/temporal_coverage
  阈值天然过滤（校准数据：异源最小汉明距离 24，阈值 12）
- TestDurationPrefilter 改为断言 scope=user/project 均不传时长过滤参数
- 全量查重相关单测 285 passed

gitea-actions bot commented 2026-09-05 10:10:12 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1708
预览链接	https://pr-1708.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1708 | | 预览链接 | [https://pr-1708.preview.xiaoxiajianji.com](https://pr-1708.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot commented 2026-09-05 10:10:44 +08:00

Collaborator

Copy Link

Copy Source

代码审查结果 - PR #1708

⚠️ 问题（0个需要修改）

（无）

💡 建议（2个可选）

1. apps/worker/video_processing/dedup.py 第815行：性能风险提示
   • 移除时长过滤（±15%）后，list_by_user 将全量加载该用户的所有视频数据。对于拥有大量视频（如数万条）的用户，可能会导致数据库查询耗时增加、内存占用升高以及后续指纹比对计算量激增。建议在生产环境监控该接口的耗时与内存占用，或评估是否需要增加更宽松的时长过滤（如 ±50%）或分页处理机制。
2. tests/unit/test_dedup_1702_zero_rate_fix.py 第291行：测试断言逻辑优化
   • assert args == ("u1",) or args == () 中的 args == () 分支似乎没有必要。代码 dedup.py 中明确调用 list_by_user(user_id)，即位置参数传参，Mock 记录的 args 应为 ("u1",)。保留 args == () 会掩盖参数传递方式错误的潜在 Bug（例如误改为关键字参数传参），建议删除 or args == ()，使测试更严谨。

---

✅ 格式检查通过 | ✅ 逻辑审查通过 | ⚠️ 建议关注性能

---

_{🤖 由 AI 代码审查机器人自动生成 | 2026-09-05 02:10:44 | 模型:}

## 代码审查结果 - PR #1708 ### ⚠️ 问题（0个需要修改） （无） ### 💡 建议（2个可选） 1. **apps/worker/video_processing/dedup.py 第815行**：性能风险提示 - 移除时长过滤（±15%）后，`list_by_user` 将全量加载该用户的所有视频数据。对于拥有大量视频（如数万条）的用户，可能会导致数据库查询耗时增加、内存占用升高以及后续指纹比对计算量激增。建议在生产环境监控该接口的耗时与内存占用，或评估是否需要增加更宽松的时长过滤（如 ±50%）或分页处理机制。 2. **tests/unit/test_dedup_1702_zero_rate_fix.py 第291行**：测试断言逻辑优化 - `assert args == ("u1",) or args == ()` 中的 `args == ()` 分支似乎没有必要。代码 `dedup.py` 中明确调用 `list_by_user(user_id)`，即位置参数传参，Mock 记录的 `args` 应为 `("u1",)`。保留 `args == ()` 会掩盖参数传递方式错误的潜在 Bug（例如误改为关键字参数传参），建议删除 `or args == ()`，使测试更严谨。 --- ✅ 格式检查通过 | ✅ 逻辑审查通过 | ⚠️ 建议关注性能 --- _{🤖 由 AI 代码审查机器人自动生成 | 2026-09-05 02:10:44 | 模型:} <!-- AI_CODE_REVIEW_AUTO_COMMENT -->

auto-approve-bot merged commit ca7f875224 into develop 2026-09-05 10:12:50 +08:00

auto-approve-bot deleted branch fix/dedup-skip-duration-prefilter-1702 2026-09-05 10:12:50 +08:00

gitea-actions bot commented 2026-09-05 10:13:07 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1708 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1708 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this issue from a commit 2026-09-05 11:23:37 +08:00

fix(dedup): pHash阈值二次校准12→16+时序对齐允许±1反向抖动，修复降重对漏检 (Issue #1702)

xiaoxia referenced this pull request 2026-09-05 12:19:08 +08:00

[P0] 查重率恒为0%：降重裁剪污染pHash指纹 + 无局部片段复用检出 + 时长/直方图/coverage单位bug #1702

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1708