perf(ai-avatar): 对口型加速+封面流程重构 #1872

Merged

auto-approve-bot merged 3 commits from fix/ai-avatar-speed-and-cover-flow into develop 2026-09-12 19:10:03 +08:00

Conversation 2 Commits 3 Files Changed 11

+789 -226

frontend-dev commented 2026-09-12 18:32:48 +08:00

Collaborator

Copy Link

Copy Source

修复&优化

Bug修复

1. B-roll时间戳全0：修复audio_data在OSS上传失败路径下未初始化导致NameError，静默被catch后sentence_timings永远为null
2. 智能封面2-click bug：handleSmartCover直接传jobId调用API，不依赖setState异步更新
3. 封面标题不一致：封面移到最终成片后从视频MediaKit抽帧，保证标题/B-roll100%一致

性能优化

4. TTS音频跳过OSS转存：CosyVoice返回的temp_url直接给MediaKit用，省下载→上传→签名网络往返（5-15s）
5. 输出视频异步转存：MediaKit返回completed后立即用临时URL返回前端播放，Celery后台异步转存到自有OSS（感知省10-30s）
6. FFmpeg veryfast：编码preset从fast改为veryfast，编码速度提升30-50%
7. 砍自动封面：渲染阶段删除FFmpeg截帧+MediaKit自动抽帧（省30s-2min）

流程重构

8. 新smart-cover接口：POST /api/v1/ai-avatar/render/{job_id}/smart-cover，校验render completed后从output_video_url用MediaKit抽帧
9. UI重排：开始生成视频按钮放在封面区域上方；封面区域在视频未生成时禁用
10. 封面仅在成片后：对口型预览和渲染阶段都不做封面，视频生成后用户主动点击智能获取封面

## 修复&优化 ### Bug修复 1. **B-roll时间戳全0**：修复audio_data在OSS上传失败路径下未初始化导致NameError，静默被catch后sentence_timings永远为null 2. **智能封面2-click bug**：handleSmartCover直接传jobId调用API，不依赖setState异步更新 3. **封面标题不一致**：封面移到最终成片后从视频MediaKit抽帧，保证标题/B-roll100%一致 ### 性能优化 4. **TTS音频跳过OSS转存**：CosyVoice返回的temp_url直接给MediaKit用，省下载→上传→签名网络往返（5-15s） 5. **输出视频异步转存**：MediaKit返回completed后立即用临时URL返回前端播放，Celery后台异步转存到自有OSS（感知省10-30s） 6. **FFmpeg veryfast**：编码preset从fast改为veryfast，编码速度提升30-50% 7. **砍自动封面**：渲染阶段删除FFmpeg截帧+MediaKit自动抽帧（省30s-2min） ### 流程重构 8. **新smart-cover接口**：POST /api/v1/ai-avatar/render/{job_id}/smart-cover，校验render completed后从output_video_url用MediaKit抽帧 9. **UI重排**：开始生成视频按钮放在封面区域上方；封面区域在视频未生成时禁用 10. **封面仅在成片后**：对口型预览和渲染阶段都不做封面，视频生成后用户主动点击智能获取封面

frontend-dev added 1 commit 2026-09-12 18:32:49 +08:00

perf(ai-avatar): 对口型加速+封面流程重构 ... f6ca10c61f

- fix: 修复audio_data未初始化导致B-roll时间全显示0.0~0.0s
- perf: TTS音频跳过OSS转存，直接使用CosyVoice临时URL给MediaKit（省5-15s网络往返）
- perf: 输出视频异步转存到OSS，MediaKit完成后立即用临时URL返回前端播放（感知省10-30s）
- perf: FFmpeg编码preset从fast改为veryfast，编码速度提升30-50%
- refactor: 渲染服务移除所有封面逻辑（无FFmpeg截帧、无MediaKit自动抽帧）
- feat: 新增POST /api/v1/ai-avatar/render/{job_id}/smart-cover，从成片MediaKit智能选帧
- feat: UI重排：开始生成视频按钮移到封面区域上方
- fix: 智能封面2-click bug修复
- feat: 封面区域在视频生成完成前禁用，视频生成后才能选择封面

gitea-actions bot commented 2026-09-12 18:34:56 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1872
预览链接	https://pr-1872.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1872 | | 预览链接 | [https://pr-1872.preview.xiaoxiajianji.com](https://pr-1872.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

frontend-dev added 1 commit 2026-09-12 18:49:39 +08:00

fix(ai-avatar): 消除useCallback eslint warning 28f8c5786c

frontend-dev added 1 commit 2026-09-12 19:04:09 +08:00

test(ai-avatar): 补充smart-cover路由/异步转存/persist任务单元测试 25e88b7ce8

auto-approve-bot merged commit e250132ace into develop 2026-09-12 19:10:03 +08:00

auto-approve-bot deleted branch fix/ai-avatar-speed-and-cover-flow 2026-09-12 19:10:05 +08:00

gitea-actions bot commented 2026-09-12 19:10:20 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1872 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1872 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

2 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1872