xiaoxia/xiaoxia-saas
1
0
Fork 0
Code Issues 14 Pull Requests Actions Packages Projects Releases 7 Wiki Activity

AI数字人渲染合成管线 #1798

New Issue
Closed
opened 2026-09-08 14:28:16 +08:00 by xiaoxia · 0 comments
xiaoxia commented 2026-09-08 14:28:16 +08:00
Owner
Copy Link
Copy Source

目标

后端实现AI数字人视频的完整渲染合成流程：对口型视频 + B-roll插入 + 标题叠加 + 封面帧 → 最终输出视频。

合成流程

  1. 输入：对口型视频（来自 MediaKit）+ B-roll素材列表 + 标题配置 + 封面配置
  2. B-roll插入：根据用户指定的分段位置，在全屏切换或画中画模式下插入素材
  3. 标题叠加：复用现有 drawtext 滤镜逻辑（#1789 已实现）
  4. 封面提取：根据封面配置从指定时间点提取帧
  5. 输出：最终视频 + 封面图

FFmpeg 滤镜链

  • 复用 video_filter_builder.py 的现有能力
  • 新增 overlay 滤镜支持（画中画模式）
  • 新增 B-roll 片段拼接逻辑（全屏切换模式）

任务管理

  • 复用现有异步任务队列
  • 任务状态：pending → processing → completed / failed
  • 进度回调通知前端

API

  • POST /api/ai-avatar/render — 提交渲染任务
  • GET /api/ai-avatar/render/{task_id} — 查询渲染状态
  • WebSocket 推送渲染进度

约束

  • 复用现有视频合成基础设施，不重复造轮子
  • drawtext 滤镜逻辑从 #1789 复用
  • 不能破坏现有智能剪辑的渲染流程
## 目标 后端实现AI数字人视频的完整渲染合成流程：对口型视频 + B-roll插入 + 标题叠加 + 封面帧 → 最终输出视频。 ## 合成流程 1. **输入**：对口型视频（来自 MediaKit）+ B-roll素材列表 + 标题配置 + 封面配置 2. **B-roll插入**：根据用户指定的分段位置，在全屏切换或画中画模式下插入素材 3. **标题叠加**：复用现有 drawtext 滤镜逻辑（#1789 已实现） 4. **封面提取**：根据封面配置从指定时间点提取帧 5. **输出**：最终视频 + 封面图 ### FFmpeg 滤镜链 - 复用 video_filter_builder.py 的现有能力 - 新增 overlay 滤镜支持（画中画模式） - 新增 B-roll 片段拼接逻辑（全屏切换模式） ### 任务管理 - 复用现有异步任务队列 - 任务状态：pending → processing → completed / failed - 进度回调通知前端 ## API - POST /api/ai-avatar/render — 提交渲染任务 - GET /api/ai-avatar/render/{task_id} — 查询渲染状态 - WebSocket 推送渲染进度 ## 约束 - 复用现有视频合成基础设施，不重复造轮子 - drawtext 滤镜逻辑从 #1789 复用 - 不能破坏现有智能剪辑的渲染流程
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
P0
阻塞性，必须立即处理
 P1
高优先级
 P2
中优先级
 P3
低优先级/后考虑
 architecture
架构设计
 backend
后端相关
 blocked
阻塞中
 bug
Bug修复
 ci-bug
CI本身的bug
 ci-optimization
CI优化类任务
 ci-pipeline
CI流水线/workflow相关
 cleanup
代码清理
 devops
运维/部署/CI
 documentation
文档相关
 feature
新功能
 frontend
前端相关
 question
需要讨论确认
 ready
PR CI通过，可合并
 refactor
代码重构
No Label
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
auto-approve-bot xiaoxia
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1798
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?