xiaoxia/xiaoxia-saas
1
0
Fork 0
Code Issues 11 Pull Requests 3 Actions Packages Projects Releases 7 Wiki Activity

[P0] 查重优化: 分片指纹存储改造 #1657

New Issue
Closed
opened 2026-09-03 18:43:48 +08:00 by xiaoxia · 0 comments
xiaoxia commented 2026-09-03 18:43:48 +08:00
Owner
Copy Link
Copy Source

背景

当前查重系统"一个视频一个指纹"，无法定位重复片段、无法计算查重率百分比。需要改为按时间分片存储。

任务

  1. 新建 alembic migration，创建 video_fingerprint_chunks 表：
    • id (主键), video_id (外键), project_id (索引), user_id (索引)
    • start_time_ms (int, 分片起始时间毫秒), end_time_ms (int, 分片结束时间毫秒)
    • phash_binary (String 64位十六进制), color_histogram (JSON, 32bins×3通道)
    • frame_count (int), created_at
  2. 分片策略：短视频(≤60s)每2秒一片，长视频每5秒一片
  3. 改造 compute_fingerprint() 在计算指纹时同步存储分片数据
  4. 更新 GeneratedVideo 实体和 Repository，支持分片查询
  5. 存量指纹重建脚本：遍历所有已有视频的指纹，用新算法重新计算并存入分片表。部署后在 staging 先跑一遍验证，再在生产执行

技术债务约束（铁律）

  • 存量重建脚本必须随本 Issue 一起交付，不允许遗留旧格式数据
  • 新代码必须有单元测试覆盖
  • API 向后兼容：旧的 is_duplicate 布尔字段保留不删，新字段是扩展不是替换
  • 旧查重逻辑代码改造完成后直接替换，不留 if/else 分支兼容新旧两套逻辑

优先级

P0 - 所有后续查重优化的基础

依赖

无

## 背景 当前查重系统"一个视频一个指纹"，无法定位重复片段、无法计算查重率百分比。需要改为按时间分片存储。 ## 任务 1. 新建 alembic migration，创建 `video_fingerprint_chunks` 表： - `id` (主键), `video_id` (外键), `project_id` (索引), `user_id` (索引) - `start_time_ms` (int, 分片起始时间毫秒), `end_time_ms` (int, 分片结束时间毫秒) - `phash_binary` (String 64位十六进制), `color_histogram` (JSON, 32bins×3通道) - `frame_count` (int), `created_at` 2. 分片策略：短视频(≤60s)每2秒一片，长视频每5秒一片 3. 改造 `compute_fingerprint()` 在计算指纹时同步存储分片数据 4. 更新 `GeneratedVideo` 实体和 Repository，支持分片查询 5. **存量指纹重建脚本**：遍历所有已有视频的指纹，用新算法重新计算并存入分片表。部署后在 staging 先跑一遍验证，再在生产执行 ## 技术债务约束（铁律） - 存量重建脚本必须随本 Issue 一起交付，不允许遗留旧格式数据 - 新代码必须有单元测试覆盖 - API 向后兼容：旧的 `is_duplicate` 布尔字段保留不删，新字段是扩展不是替换 - 旧查重逻辑代码改造完成后直接替换，不留 if/else 分支兼容新旧两套逻辑 ## 优先级 P0 - 所有后续查重优化的基础 ## 依赖 无
xiaoxia added this to the 技术债务与优化 milestone 2026-09-03 18:43:48 +08:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
P0
阻塞性，必须立即处理
 P1
高优先级
 P2
中优先级
 P3
低优先级/后考虑
 architecture
架构设计
 backend
后端相关
 blocked
阻塞中
 bug
Bug修复
 ci-bug
CI本身的bug
 ci-optimization
CI优化类任务
 ci-pipeline
CI流水线/workflow相关
 cleanup
代码清理
 devops
运维/部署/CI
 documentation
文档相关
 feature
新功能
 frontend
前端相关
 question
需要讨论确认
 ready
PR CI通过，可合并
 refactor
代码重构
No Label
Milestone
No items
No Milestone 技术债务与优化
Projects
Clear projects
No project
Assignees
Clear assignees
auto-approve-bot xiaoxia
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1657
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?