Release: 同步 develop 到 main（PR #1654~#1698 全量同步） #1699

Merged

xiaoxia merged 43 commits from release/sync-develop-20260904 into main 2026-09-04 23:35:27 +08:00

Conversation 2 Commits 43 Files Changed 90

+6873 -697

xiaoxia commented 2026-09-04 23:31:27 +08:00

Owner

Copy Link

Copy Source

Release 发版

将 develop 分支 PR #1654~#1698 全量同步到 main，确保生产环境与 staging 一致。

包含 PR（共 32 个）

配音/素材：

• #1654 提取视频配音接口 + 素材来源标识
• #1656 TTS时长修复 + 提取视频配音 + AI配音标识
• #1665 提取视频配音 API 路径修正
• #1666 AI配音标识兼容旧素材
• #1667 voices.py ruff 错误修复
• #1687 extract-voice FormData 补 project_id
• #1689 统一提取配音进度文案
• #1692 配音时长过滤 + 移除警告 UI
• #1693 片段时长自动对齐配音时长
• #1697 移除配音选择时长过滤逻辑

查重系统：

• #1669 分片指纹存储改造 + 存量指纹重建脚本
• #1673 动态抽帧 + 滑动窗口时序匹配 (#1659)
• #1674 pHash阈值校准+颜色直方图融合 (#1658)
• #1675 查重率百分比计算+跨项目查重 (#1660)
• #1676 查重结果展示升级 (#1662)
• #1678 成品视频接口补全查重字段 (#1660)
• #1679 手动查重 worker task (#1661)
• #1680 查重 worker 无限重试 bug 修复
• #1682 视频渲染后随机边缘裁剪降重 (#1664)
• #1683 visual_similarity 百分比显示修正
• #1684 查重流程全面核实修复 (#1664)
• #1685 成片库重新查重按钮
• #1686 ProductLibrary mock 修复
• #1688 黑屏视频过滤 (#1664)

生成/渲染：

• #1668 正式生成时片段随机重排（降重）
• #1671 跨视频片段避让 (#1670)
• #1672 AI配音标识 overflow 修复

前端/UI：

• #1689 提取配音进度文案统一
• #1690 标题默认位置 lower + 拖拽稳定性
• #1691 标题默认位置 fallback bottom
• #1694 编辑模板片段移除时长输入
• #1696 移除片段时长显示
• #1698 任务历史页面自动轮询

CI/测试修复：

• d947171 修复 test_duplicate_rate_scope 黑屏过滤误拦截
• d336382 修复 VoiceLibrary icon mock 缺失

Staging 验证

所有 PR 已在 staging 环境验证通过，staging 当前版本 d336382。

## Release 发版 将 develop 分支 PR #1654~#1698 全量同步到 main，确保生产环境与 staging 一致。 ### 包含 PR（共 32 个） **配音/素材：** - #1654 提取视频配音接口 + 素材来源标识 - #1656 TTS时长修复 + 提取视频配音 + AI配音标识 - #1665 提取视频配音 API 路径修正 - #1666 AI配音标识兼容旧素材 - #1667 voices.py ruff 错误修复 - #1687 extract-voice FormData 补 project_id - #1689 统一提取配音进度文案 - #1692 配音时长过滤 + 移除警告 UI - #1693 片段时长自动对齐配音时长 - #1697 移除配音选择时长过滤逻辑 **查重系统：** - #1669 分片指纹存储改造 + 存量指纹重建脚本 - #1673 动态抽帧 + 滑动窗口时序匹配 (#1659) - #1674 pHash阈值校准+颜色直方图融合 (#1658) - #1675 查重率百分比计算+跨项目查重 (#1660) - #1676 查重结果展示升级 (#1662) - #1678 成品视频接口补全查重字段 (#1660) - #1679 手动查重 worker task (#1661) - #1680 查重 worker 无限重试 bug 修复 - #1682 视频渲染后随机边缘裁剪降重 (#1664) - #1683 visual_similarity 百分比显示修正 - #1684 查重流程全面核实修复 (#1664) - #1685 成片库重新查重按钮 - #1686 ProductLibrary mock 修复 - #1688 黑屏视频过滤 (#1664) **生成/渲染：** - #1668 正式生成时片段随机重排（降重） - #1671 跨视频片段避让 (#1670) - #1672 AI配音标识 overflow 修复 **前端/UI：** - #1689 提取配音进度文案统一 - #1690 标题默认位置 lower + 拖拽稳定性 - #1691 标题默认位置 fallback bottom - #1694 编辑模板片段移除时长输入 - #1696 移除片段时长显示 - #1698 任务历史页面自动轮询 **CI/测试修复：** - d947171 修复 test_duplicate_rate_scope 黑屏过滤误拦截 - d336382 修复 VoiceLibrary icon mock 缺失 ### Staging 验证 所有 PR 已在 staging 环境验证通过，staging 当前版本 `d336382`。

xiaoxia added 43 commits 2026-09-04 23:31:34 +08:00

feat(voice): 提取视频配音接口 + 素材来源标识 (#1654) e6e4090f3c

feat(voices): TTS时长修复 + 提取视频配音 + AI配音标识 (#1656) ... 6d2d63da7e

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

feat: 正式生成时片段随机重排（降重，默认开启无开关）#1663 ... 229f9dddeb

在 _distribute_assets 方法中，smart_match 评分排序完成后、
distribute_assets 之前，对 asset_ids 做 random.shuffle。

- smart_match 决定选哪些素材（评分排序保留）
- shuffle 只改变最终分配到 clips 的顺序
- scene_points 缓存不受影响（shuffle 之前已读取）
- asset_ids 先 list() 复制再 shuffle，不修改调用方原列表
- 新增 3 个单元测试验证 shuffle 行为

Closes #1663

Merge pull request 'feat: 正式生成时片段随机重排（降重，默认开启无开关）#1663' (#1668) from feat/segment-random-shuffle-1663 into develop aac8cc5fd7

fix: 修复 voices.py 中 3 处 ruff B904 错误，解除 CI Validate-Style 阻塞 (#1667) c7c30936a9

feat: 分片指纹存储改造 + 存量指纹重建脚本 #1657 ... cbca0c3584

## 改动

### 1. 新建 video_fingerprint_chunks 表（Migration 063）
- 按时间分片存储 pHash + color_histogram
- 索引：video_id, project_id, user_id

### 2. 新增 VideoFingerprintChunkModel
- packages/adapters/sqlalchemy_impl/models.py

### 3. 改造 dedup.py 指纹计算
- compute_fingerprint() 改为按时间分片抽帧
  - 短视频（≤60s）：每 2s 一片
  - 长视频（>60s）：每 5s 一片
- VideoFingerprint 新增 chunks 字段（list of FingerprintChunk）
- 向后兼容：keyframe_phashes/color_histograms 保留
- to_chunk_models() 方法转换为 SQLAlchemy Model
- check_duplicate() 优先从分片表读取，回退到 JSON 字段
- check_duplicate_task() 写入分片表

### 4. 改造 dedup_helpers.py
- create_video_record_and_dedup() 同步写入分片表

### 5. 存量指纹重建脚本
- apps/api/scripts/rebuild_fingerprint_chunks.py
- 支持 --dry-run 和 --batch-size
- 幂等：已有分片数据的视频跳过

### 6. 单元测试（11 个）
- 分片策略：60s→30片，120s→24片
- to_chunk_models() 输出正确
- _save_fingerprint_chunks 幂等性
- to_dict() 向后兼容

Closes #1657

fix: 提取视频配音 API 路径修正为 /voices/extract-voice (#1665) b0018e747b

fix(voices): AI配音标识兼容旧素材，增加 tts_job_id 降级判断 (#1666) ee4fff42f0

style: auto-format with black + isort + prettier [skip ci-format-check] 244691d335

Merge pull request 'feat: 分片指纹存储改造 + 存量指纹重建脚本 #1657' (#1669) from feat/fingerprint-chunks-1657 into develop 8ecf381a9d

feat: 跨视频片段避让 — 生成前注入已用区间 #1670 ... af4dd31dd1

- Repository: list_used_segments_by_user() JOIN edit_plans 查用户最近
  已完成 plan 的已渲染 clips，聚合为 {asset_id: [(start, end), ...]}
- Domain: distribute_assets / _distribute_* 子函数新增 external_used_segments
  参数，深拷贝注入 used_segments，让 _resolve_start_time 自动避让
- Service: _distribute_assets 新增 user_id 参数，预览和正式生成都查询
  已用区间；查询失败时不阻塞，回退纯随机
- 12 个单元测试覆盖 Repository/Domain/Service 三层

style: auto-format with black + isort + prettier [skip ci-format-check] 9d31818222

fix: AI配音标识被overflow:hidden裁剪不显示 (#1672) 109d7afbc7

Merge pull request 'feat: 跨视频片段避让 — 生成前注入已用区间 #1670' (#1671) from feat/cross-video-avoidance-1670 into develop 159a62f9a5

feat(dedup): 动态抽帧 + 滑动窗口时序匹配 (#1659) ... fac80b1f77

1. 动态抽帧策略 — detect_keyframe_timestamps()
   - 降采样到 320x240 逐帧灰度差异检测场景切换
   - 最小间隔过滤（保留差异最大的候选帧）
   - 数量裁剪到 [MIN_KEYFRAMES=5, MAX_KEYFRAMES=30]
   - 长视频（>3分钟）每 30 秒分段保底

2. 滑动窗口时序匹配 — find_duplicate_segments()
   - 逐帧最佳匹配 → 连续 run 检测（允许 MAX_GAP=2 间隙）
   - 最少 MIN_CONSECUTIVE_MATCHES=5 帧才报告
   - 返回 DuplicateSegment（query/target 时间范围 + 平均距离）

3. 查重算法升级
   - 均值距离 → 中位数距离（抵抗异常值）
   - 新增帧匹配比例条件（match_ratio >= 0.7）
   - Bhattacharyya 系数替代余弦相似度
   - pHash + 直方图加权融合（0.7/0.3）
   - 判定重复后附加 duplicate_segments 字段

4. 删除旧代码
   - 移除 SHORT_VIDEO_CHUNK_SEC/LONG_VIDEO_CHUNK_SEC 固定间隔
   - 移除 compute_chunk_interval()
   - 移除 _average_histogram_similarity()

5. 测试
   - 新增 test_dedup_v2.py: 34 个测试
   - 更新 test_dedup_engine.py/test_duplicate_rate.py/test_dedup_pure.py
   - 清理 test_fingerprint_chunks.py 中旧常量测试

style: auto-format with black + isort + prettier [skip ci-format-check] a0d4f6e111

fix(dedup): ruff lint 修复 — 未使用变量 + zip strict + 冗余 import (#1659) db9ee89ffa

Merge pull request 'feat(dedup): 动态抽帧 + 滑动窗口时序匹配 (#1659)' (#1673) from feature/1659-dynamic-keyframe-sliding-window into develop 1ff81dcd0a

feat: 查重率百分比计算+跨项目查重 #1660 (#1675) ... f10fd9cd5c

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

feat: 查重结果展示升级 — 风险阈值15/30 + 视觉相似度/匹配帧数 + 片段时间轴 #1662 (#1676) ... df164ddf75

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

feat(api): 成品视频接口补全查重字段 duplicate_rate/visual_similarity/match_count #1660 (#1678) ... 4725d94c7e

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

feat(worker): 手动查重 worker task + visual_similarity/match_count 字段 #1661 (#1679) ... 2205adb8fb

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

feat: pHash阈值校准+颜色直方图融合 #1658 (#1674) ... 2a2dfad137

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: 查重 worker 无限重试 bug + 补 3 个 API/repository 单测 (#1661 follow-up) (#1680) ... 0542654ca8

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

feat: 视频渲染后随机边缘裁剪 2-5% 降重 #1664 (#1682) ... f523548eee

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: visual_similarity 显示为百分比（×100）+ 注释修正 (#1662) (#1683) ... d01040cb93

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: 查重流程全面核实修复 — 两阶段持久化 + 重新计算查重API (#1664) (#1684) ... 452a484c5b

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

feat: 成片库添加「重新查重」按钮，触发存量视频查重率重算 (#1685) ... 475ee59408

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: add recomputeDedup mock to ProductLibrary test (#1686) ... 02d226a163

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: add missing project_id to extract-voice FormData (#1687) ... ed72a91990

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: 查重系统黑屏视频过滤 — 跳过坏指纹防止虚假匹配 #1664 (#1688) ... 4633126bb4

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: unify extract video voice progress text & cleanup file input (#1689) ... 3fcc65840e

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: title default position lower & drag stability (#1690) ... 8a3115bc54

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: 标题默认位置 fallback 改为 bottom，与前端 DEFAULT_TITLE_SETTINGS 对齐 (#1691) e86f137c3d

feat: 片段时长自动对齐配音时长 (#1693) db244fe14c

fix: 配音时长过滤 + 移除时长警告 UI (#1692) ... 4263e7f6ca

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

style: auto-format with black + isort + prettier [skip ci-format-check] eac05dee30

fix: 编辑模板添加片段移除时长输入 (#1694) ... f1bd2d6f1d

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: 移除片段时长显示 + 点击加号直接添加 (#1696) ... 52f281a66c

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: 移除配音选择时长过滤逻辑，所有配音素材完整显示 (#1697) ... 121820caa9

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix: 任务历史页面增加进行中任务自动轮询（每3秒刷新） (#1698) ... 1f4c907bed

Co-authored-by: xiaoxia <dev@xiaoxiajianji.com>
Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>

fix(tests): 修复 test_duplicate_rate_scope 被黑屏过滤误拦截 ... d947171713

test_formula_with_matching_frames 的测试数据用 5 个完全相同的
phash，被 PR #1688 新增的 _is_bad_fingerprint() 判定为黑屏视频
并跳过，导致 duplicate_rate=0.0。改为使用 5 个不同 phash 值。

fix(tests): 修复 CI 全量测试失败 — 后端黑屏过滤 + 前端 icon mock 缺失 ... d336382f3a

1. test_duplicate_rate_scope: 测试数据用 5 个相同 phash 被
   _is_bad_fingerprint() 拦截（PR #1688），改为 5 个不同 phash
2. VoiceLibrary.test: @ant-design/icons mock 缺少
   VideoCameraOutlined/InboxOutlined/CloseOutlined（PR #1654/#1656）

xiaoxia merged commit 0c15e5be03 into main 2026-09-04 23:35:27 +08:00

gitea-actions bot commented 2026-09-04 23:36:04 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1699
预览链接	https://pr-1699.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1699 | | 预览链接 | [https://pr-1699.preview.xiaoxiajianji.com](https://pr-1699.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

gitea-actions bot commented 2026-09-04 23:38:15 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1699 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1699 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this pull request 2026-09-04 23:50:21 +08:00

fix: 补充 auto-format 格式修复到 main #1700

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot xiaoxia

No Assignees

2 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1699