xiaoxia/xiaoxia-saas
1
0
Fork 0
Code Issues 14 Pull Requests 2 Actions Packages Projects Releases 7 Wiki Activity

[P0] 查重优化: 动态抽帧 + 滑动窗口时序匹配 #1659

New Issue
Closed
opened 2026-09-03 18:44:18 +08:00 by xiaoxia · 0 comments
xiaoxia commented 2026-09-03 18:44:18 +08:00
Owner
Copy Link
Copy Source

背景

当前固定抽10帧，短视频冗余、长视频不足。整段平均距离无法定位重复片段。

任务

1. 动态抽帧策略

改造 apps/worker/video_processing/dedup.py 的 compute_fingerprint():

  • 计算连续帧间灰度差异，差异 > 30 标记为候选关键帧
  • 最小间隔 1 秒，最多 30 帧，最少 5 帧
  • 长视频（>3分钟）每 30 秒一个分段，每段至少抽 2 帧
  • 先降采样到 320x240 再计算帧差，降低开销

2. 滑动窗口时序匹配

新增 find_duplicate_segments() 函数:

  • 对查询视频每帧找目标视频的最小汉明距离帧
  • 距离 ≤ 8 视为匹配
  • 连续匹配 ≥ 5 帧（约 2.5 秒）才算一段重复
  • 允许最大间隙 max_gap=1（容忍个别不匹配帧）
  • 输出重复片段列表

优先级

P0

依赖

Issue #1657（分片存储）

技术债务约束（铁律）

  • 新代码必须有单元测试覆盖（每个新增/修改函数都要有测试）
  • API 向后兼容：旧字段保留不删，新字段是扩展不是替换
  • 旧逻辑代码改造完成后直接替换，不留 if/else 分支兼容新旧两套
  • staging 先验证通过再上生产
## 背景 当前固定抽10帧，短视频冗余、长视频不足。整段平均距离无法定位重复片段。 ## 任务 ### 1. 动态抽帧策略 改造 `apps/worker/video_processing/dedup.py` 的 `compute_fingerprint()`: - 计算连续帧间灰度差异，差异 > 30 标记为候选关键帧 - 最小间隔 1 秒，最多 30 帧，最少 5 帧 - 长视频（>3分钟）每 30 秒一个分段，每段至少抽 2 帧 - 先降采样到 320x240 再计算帧差，降低开销 ### 2. 滑动窗口时序匹配 新增 `find_duplicate_segments()` 函数: - 对查询视频每帧找目标视频的最小汉明距离帧 - 距离 ≤ 8 视为匹配 - 连续匹配 ≥ 5 帧（约 2.5 秒）才算一段重复 - 允许最大间隙 max_gap=1（容忍个别不匹配帧） - 输出重复片段列表 ## 优先级 P0 ## 依赖 Issue #1657（分片存储） ## 技术债务约束（铁律） - 新代码必须有单元测试覆盖（每个新增/修改函数都要有测试） - API 向后兼容：旧字段保留不删，新字段是扩展不是替换 - 旧逻辑代码改造完成后直接替换，不留 if/else 分支兼容新旧两套 - staging 先验证通过再上生产
xiaoxia added this to the 技术债务与优化 milestone 2026-09-03 18:44:18 +08:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
P0
阻塞性，必须立即处理
 P1
高优先级
 P2
中优先级
 P3
低优先级/后考虑
 architecture
架构设计
 backend
后端相关
 blocked
阻塞中
 bug
Bug修复
 ci-bug
CI本身的bug
 ci-optimization
CI优化类任务
 ci-pipeline
CI流水线/workflow相关
 cleanup
代码清理
 devops
运维/部署/CI
 documentation
文档相关
 feature
新功能
 frontend
前端相关
 question
需要讨论确认
 ready
PR CI通过，可合并
 refactor
代码重构
No Label
Milestone
No items
No Milestone 技术债务与优化
Projects
Clear projects
No project
Assignees
Clear assignees
auto-approve-bot xiaoxia
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1659
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?