feat(worker): 全GPU直连渲染，取消mezzanine CPU中间编码 #2086

Merged

xiaoxia merged 3 commits from feature/gpu-direct-pipeline into develop 2026-09-28 14:20:49 +08:00

Conversation 2 Commits 3 Files Changed 5

+606 -12

xiaoxia commented 2026-09-28 13:30:58 +08:00

Owner

Copy Link

Copy Source

背景

mezzanine CPU(libx264) 编码 85s 是当前最大瓶颈，另含边缘裁剪重编码 26s、音视频合成 2s、mezzanine 中转 1s，合计约 114s。

方案

P4000 已确认是通用 ffmpeg 执行器（任意 inputs + ffmpeg_args + filter_complex），无需改服务端。worker 直接把原始素材签名URL + TTS + BGM 作为 inputs 发 P4000 /api/render/sync，filter_complex 一条命令完成：
trim/setpts/倍速 → scale+pad 适配 → concat 拼接 → 随机边缘 crop+scale → drawtext 标题/ASR字幕 → amix(TTS+BGM) → h264_nvenc 仅编码一次。

改动

• packages/shared/gpu_encoder.py：新增 render_inputs_to_output(inputs, ffmpeg_args, output_path)，成片走 relay 回传。
• apps/worker/video_processing/gpu_direct_pipeline.py（新）：URL签名、drawtext转义、DirectRenderPlan 构造。
• unified_render_service.py：render() 步骤4.8 接入；新增 _can_use_gpu_direct/_try_gpu_direct/_concat_audio_clips。
• render_adapter.py：透传 asset_storage_map，给 clip 注入 _storage_key。

安全回退

直连仅命中：单一主视频轨、全硬切、无 PiP/水印/贴纸/片头片尾/绿幕/倒放/调色。任一不满足、或 GPU 调用失败，自动返回 None 走现有链路，功能不回归。可用 plan config gpu_direct_enabled=false 灰度关闭。

待办（不阻塞本PR）

• P4000 安装中文字体后，drawtext 升级为 subtitles 滤镜（当前 font=sans，中文可能豆腐块）。
• staging 实测耗时，预期 190s → 30-40s。

## 背景 mezzanine CPU(libx264) 编码 85s 是当前最大瓶颈，另含边缘裁剪重编码 26s、音视频合成 2s、mezzanine 中转 1s，合计约 114s。 ## 方案 P4000 已确认是通用 ffmpeg 执行器（任意 inputs + ffmpeg_args + filter_complex），无需改服务端。worker 直接把**原始素材签名URL + TTS + BGM** 作为 inputs 发 P4000 `/api/render/sync`，filter_complex 一条命令完成： trim/setpts/倍速 → scale+pad 适配 → concat 拼接 → 随机边缘 crop+scale → drawtext 标题/ASR字幕 → amix(TTS+BGM) → h264_nvenc 仅编码一次。 ## 改动 - `packages/shared/gpu_encoder.py`：新增 `render_inputs_to_output(inputs, ffmpeg_args, output_path)`，成片走 relay 回传。 - `apps/worker/video_processing/gpu_direct_pipeline.py`（新）：URL签名、drawtext转义、DirectRenderPlan 构造。 - `unified_render_service.py`：render() 步骤4.8 接入；新增 `_can_use_gpu_direct`/`_try_gpu_direct`/`_concat_audio_clips`。 - `render_adapter.py`：透传 asset_storage_map，给 clip 注入 `_storage_key`。 ## 安全回退 直连仅命中：单一主视频轨、全硬切、无 PiP/水印/贴纸/片头片尾/绿幕/倒放/调色。任一不满足、或 GPU 调用失败，自动返回 None 走现有链路，功能不回归。可用 plan config `gpu_direct_enabled=false` 灰度关闭。 ## 待办（不阻塞本PR） - P4000 安装中文字体后，drawtext 升级为 subtitles 滤镜（当前 font=sans，中文可能豆腐块）。 - staging 实测耗时，预期 190s → 30-40s。

xiaoxia added 1 commit 2026-09-28 13:30:58 +08:00

feat(worker): 全GPU直连渲染，取消mezzanine CPU中间编码 ... b04a803655

- gpu_encoder 新增 render_inputs_to_output：多输入+filter_complex 直接交 P4000 一次出片
- 新增 gpu_direct_pipeline：原始素材/BGM 签名URL、TTS 上传、drawtext 标题/字幕、
  filter_complex 完成 trim/scale/pad/concat/边缘crop/amix，末端 h264_nvenc 仅编码一次
- unified_render_service：render() 步骤4.8 接入直连，命中即出片；
  不满足条件或 GPU 失败自动回退现有 mezzanine/CPU 链路；config gpu_direct_enabled 可灰度关闭
- render_adapter：_download_assets 额外返回 asset_storage_map，
  _do_render 给 clip 注入 _storage_key 供直连签名

消除 mezzanine 85s + 边缘裁剪 26s + 合成 2s + 中转 1s ≈ 114s CPU 开销

gitea-actions bot commented 2026-09-28 13:33:17 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#2086
预览链接	https://pr-2086.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #2086 | | 预览链接 | [https://pr-2086.preview.xiaoxiajianji.com](https://pr-2086.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot added 1 commit 2026-09-28 13:38:34 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] 1e23a3f094

xiaoxia added 1 commit 2026-09-28 14:03:14 +08:00

fix(gpu-direct): 修复单测+style E741，默认字体改为Noto Sans CJK SC ... 6e8199581d

- DEFAULT_DRAWTEXT_FONT 从 sans 改为 'Noto Sans CJK SC'（P4000已装中文字体）
- _download_assets 返回 4-tuple 导致老单测解包失败，更新 test_render_adapter
- 修复 E741 模糊变量名 l → _lbl/_lyr
- ruff format 统一格式

xiaoxia merged commit d0e5ef1753 into develop 2026-09-28 14:20:49 +08:00

gitea-actions bot commented 2026-09-28 14:21:28 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #2086 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #2086 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#2086