feat(dedup): 增加文案+结构维度查重 (P2-后端3) #1762

Merged

xiaoxia merged 2 commits from feat/dedup-enhanced-text-structure into develop 2026-09-07 19:50:02 +08:00

Conversation 2 Commits 2 Files Changed 2

+388 -10

xiaoxia commented 2026-09-07 19:46:56 +08:00

Owner

Copy Link

Copy Source

变更内容

在现有视觉查重（pHash+直方图）基础上，增加文案+结构维度查重：

新增功能

• 文案维度：compute_text_similarity() 使用字符级 Jaccard 相似度比对配音文本
• 结构维度：compute_structure_similarity() 比对片段序列（数量+类型+时长分布）
• 多维度融合：duplicate_rate = visual*0.5 + text*0.25 + structure*0.25
• 降级策略：文案/结构数据缺失时自动降级为纯视觉维度

技术实现

• 文本标准化：去空白、转小写、去标点
• 字符级 Jaccard：交集/并集，适合短文本（配音脚本）
• 结构相似度：
  • 片段数差异（权重 0.3）
  • 类型序列匹配（权重 0.4）
  • 时长分布对比（权重 0.3）

测试

• 21 个新测试覆盖文本+结构+权重常量
• 包含边界情况（空文本、单片段、完全不同等）

验收标准

• 文案+结构维度查重功能实现
• 融合公式正确
• 降级策略生效
• 21 个测试通过

## 变更内容 在现有视觉查重（pHash+直方图）基础上，增加文案+结构维度查重： ### 新增功能 - **文案维度**：`compute_text_similarity()` 使用字符级 Jaccard 相似度比对配音文本 - **结构维度**：`compute_structure_similarity()` 比对片段序列（数量+类型+时长分布） - **多维度融合**：`duplicate_rate = visual*0.5 + text*0.25 + structure*0.25` - **降级策略**：文案/结构数据缺失时自动降级为纯视觉维度 ### 技术实现 - 文本标准化：去空白、转小写、去标点 - 字符级 Jaccard：交集/并集，适合短文本（配音脚本） - 结构相似度： - 片段数差异（权重 0.3） - 类型序列匹配（权重 0.4） - 时长分布对比（权重 0.3） ### 测试 - 21 个新测试覆盖文本+结构+权重常量 - 包含边界情况（空文本、单片段、完全不同等） ## 验收标准 - [x] 文案+结构维度查重功能实现 - [x] 融合公式正确 - [x] 降级策略生效 - [x] 21 个测试通过

xiaoxia added 1 commit 2026-09-07 19:46:56 +08:00

feat(dedup): 增加文案+结构维度查重 (Issue #P2-后端3) ... add93bb9de

- 新增 compute_text_similarity: 字符级 Jaccard 相似度比对配音文本
- 新增 compute_structure_similarity: 片段序列相似度（数量+类型+时长分布）
- 多维度融合公式: duplicate_rate = visual*0.5 + text*0.25 + structure*0.25
- 文案/结构数据缺失时降级为纯视觉维度
- 21 个新测试覆盖文本+结构+权重常量

gitea-actions bot commented 2026-09-07 19:48:57 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1762
预览链接	https://pr-1762.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1762 | | 预览链接 | [https://pr-1762.preview.xiaoxiajianji.com](https://pr-1762.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot added 1 commit 2026-09-07 19:49:17 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] 07aa03da24

xiaoxia merged commit 322b0a082c into develop 2026-09-07 19:50:02 +08:00

gitea-actions bot commented 2026-09-07 19:51:05 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1762 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1762 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this issue from a commit 2026-09-07 22:01:16 +08:00

fix: 修复 compute_duplicate_rate 方法被错误嵌套到模块函数内部

xiaoxia referenced this pull request 2026-09-07 22:01:22 +08:00

fix: 修复 compute_duplicate_rate 方法丢失导致 27 个单测失败 #1773

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1762