feat(cover): 默认本地ffmpeg抽帧+cv2打分，砍掉MediaKit封面86s瓶颈 #2087

Merged

auto-approve-bot merged 2 commits from fix/cover-local-ffmpeg into develop 2026-09-28 18:44:42 +08:00

Conversation 2 Commits 2 Files Changed 3

+185 -162

xiaoxia commented 2026-09-28 17:56:08 +08:00

Owner

Copy Link

Copy Source

P1性能优化：封面抽帧从MediaKit(86s)改为本地ffmpeg+cv2(1-2s)

背景

GPU直连管线实测1080p总耗时93s，其中MediaKit封面抽帧占86s(92%)：

• 渲染完→上传整片到OSS→北京火山MediaKit公网回源拉片→SceneChange算法→26s轮询→下载帧回worker
• 封面选帧不需要场景切换（已渲染成片的帧都是有效内容），本地cv2清晰度/亮度/色彩评分足够选好封面

改动

1. 默认路径：ffmpeg -ss 单帧seek抽取5帧（每帧<100ms）+cv2三维评分选最优+上传OSS，预期1-2s
2. MediaKit保留为fallback：配置开关MEDIAKIT_COVER_ENABLED默认false
3. 智能取点：利用clip分段边界取各段中点（比均匀分布效果好），跳过片头/片尾8%避免黑屏/字幕区
4. extract_first_frame新增seek_seconds参数

预期效果

总渲染从93s→8-10s（GPU编码1.5s+下载+本地抽帧1-2s+OSS上传几秒），配合P1 OSS双endpoint+P0 GPU直连远超30-40s目标。

测试

• 42个render_adapter单测全部通过
• ruff check/format/py_compile clean

## P1性能优化：封面抽帧从MediaKit(86s)改为本地ffmpeg+cv2(1-2s) ### 背景 GPU直连管线实测1080p总耗时93s，其中MediaKit封面抽帧占86s(92%)： - 渲染完→上传整片到OSS→北京火山MediaKit公网回源拉片→SceneChange算法→26s轮询→下载帧回worker - 封面选帧不需要场景切换（已渲染成片的帧都是有效内容），本地cv2清晰度/亮度/色彩评分足够选好封面 ### 改动 1. **默认路径**：ffmpeg `-ss` 单帧seek抽取5帧（每帧<100ms）+cv2三维评分选最优+上传OSS，预期1-2s 2. **MediaKit保留为fallback**：配置开关`MEDIAKIT_COVER_ENABLED`默认false 3. **智能取点**：利用clip分段边界取各段中点（比均匀分布效果好），跳过片头/片尾8%避免黑屏/字幕区 4. `extract_first_frame`新增`seek_seconds`参数 ### 预期效果 总渲染从93s→8-10s（GPU编码1.5s+下载+本地抽帧1-2s+OSS上传几秒），配合P1 OSS双endpoint+P0 GPU直连远超30-40s目标。 ### 测试 - 42个render_adapter单测全部通过 - ruff check/format/py_compile clean

xiaoxia added 1 commit 2026-09-28 17:56:09 +08:00

feat(cover): 默认本地ffmpeg抽帧+cv2打分，砍掉MediaKit封面路径 ... d088c80f14

P1优化：之前封面抽帧走火山MediaKit北京节点（公网拉视频+SceneChange算法+
轮询等待），实测1080p视频耗时86s占总渲染92%。

改动：
1. 默认路径改为本地ffmpeg -ss单帧seek抽取5帧+cv2清晰度/亮度/色彩三维
   评分选最优，预期1-2s完成（本地<100ms/帧×5 + cv2评分0.05s + OSS上传1s）
2. MediaKit路径保留为fallback，配置开关MEDIAKIT_COVER_ENABLED（默认false）
3. 新增clip_boundaries参数：基于clip分段边界取各段中点抽帧，效果优于
   均匀分布；render_adapter自动传入ready_clips的(start_time,duration)
4. 跳过片头8%/片尾8%，避免黑屏/开场logo/片尾字幕区
5. extract_first_frame新增seek_seconds参数支持指定时间点
6. 封面完成日志加elapsed和path字段方便观测耗时

gitea-actions bot commented 2026-09-28 17:57:28 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#2087
预览链接	https://pr-2087.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #2087 | | 预览链接 | [https://pr-2087.preview.xiaoxiajianji.com](https://pr-2087.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

xiaoxia added 1 commit 2026-09-28 18:36:52 +08:00

chore: trigger CI 35df0e5d83

auto-approve-bot merged commit b7a439d319 into develop 2026-09-28 18:44:42 +08:00

auto-approve-bot deleted branch fix/cover-local-ffmpeg 2026-09-28 18:44:45 +08:00

gitea-actions bot commented 2026-09-28 18:45:15 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #2087 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #2087 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

2 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#2087