xiaoxia/xiaoxia-saas
1
0
Fork 0
Code Issues 11 Pull Requests 2 Actions Packages Projects Releases 7 Wiki Activity

[P0] 查重优化: pHash阈值校准 + 颜色直方图融合 #1658

New Issue
Closed
opened 2026-09-03 18:44:03 +08:00 by xiaoxia · 0 comments
xiaoxia commented 2026-09-03 18:44:03 +08:00
Owner
Copy Link
Copy Source

背景

当前 PHASH_THRESHOLD=10/64（15.6%位翻转率）偏宽，行业基准约5.5%。颜色直方图已计算但从未参与比较。

任务

1. pHash 阈值校准

  • PHASH_THRESHOLD 从 10 改为 8
  • 匹配策略从平均汉明距离改为中位汉明距离（抵抗黑帧/转场帧干扰）
  • 新增帧级匹配比例条件：>70% 的帧匹配距离 < 阈值才判定重复

2. 颜色直方图融合

  • 已实现的 compute_color_histogram() 函数让它参与比较
  • 加权策略：pHash 70% + 颜色直方图 30%
  • 颜色相似度用 Bhattacharyya 系数：BC(h1, h2) = Σ √(h1[i] × h2[i])

关键文件

  • apps/worker/video_processing/dedup.py — VideoDeduplicator 类

优先级

P0

依赖

Issue #1657（分片指纹存储改造）

技术债务约束（铁律）

  • 新代码必须有单元测试覆盖（每个新增/修改函数都要有测试）
  • API 向后兼容：旧字段保留不删，新字段是扩展不是替换
  • 旧逻辑代码改造完成后直接替换，不留 if/else 分支兼容新旧两套
  • staging 先验证通过再上生产
## 背景 当前 PHASH_THRESHOLD=10/64（15.6%位翻转率）偏宽，行业基准约5.5%。颜色直方图已计算但从未参与比较。 ## 任务 ### 1. pHash 阈值校准 - `PHASH_THRESHOLD` 从 10 改为 8 - 匹配策略从**平均汉明距离**改为**中位汉明距离**（抵抗黑帧/转场帧干扰） - 新增帧级匹配比例条件：>70% 的帧匹配距离 < 阈值才判定重复 ### 2. 颜色直方图融合 - 已实现的 `compute_color_histogram()` 函数让它参与比较 - 加权策略：pHash 70% + 颜色直方图 30% - 颜色相似度用 Bhattacharyya 系数：`BC(h1, h2) = Σ √(h1[i] × h2[i])` ### 关键文件 - `apps/worker/video_processing/dedup.py` — `VideoDeduplicator` 类 ## 优先级 P0 ## 依赖 Issue #1657（分片指纹存储改造） ## 技术债务约束（铁律） - 新代码必须有单元测试覆盖（每个新增/修改函数都要有测试） - API 向后兼容：旧字段保留不删，新字段是扩展不是替换 - 旧逻辑代码改造完成后直接替换，不留 if/else 分支兼容新旧两套 - staging 先验证通过再上生产
xiaoxia added this to the 技术债务与优化 milestone 2026-09-03 18:44:03 +08:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
P0
阻塞性，必须立即处理
 P1
高优先级
 P2
中优先级
 P3
低优先级/后考虑
 architecture
架构设计
 backend
后端相关
 blocked
阻塞中
 bug
Bug修复
 ci-bug
CI本身的bug
 ci-optimization
CI优化类任务
 ci-pipeline
CI流水线/workflow相关
 cleanup
代码清理
 devops
运维/部署/CI
 documentation
文档相关
 feature
新功能
 frontend
前端相关
 question
需要讨论确认
 ready
PR CI通过，可合并
 refactor
代码重构
No Label
Milestone
No items
No Milestone 技术债务与优化
Projects
Clear projects
No project
Assignees
Clear assignees
auto-approve-bot xiaoxia
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1658
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?