fix(worker): render_plan 保留视频原声并尊重每clip音量 #1474

Merged

auto-approve-bot merged 12 commits from fix/render-plan-audio-integrity into develop 2026-08-24 01:16:00 +08:00

Conversation 5 Commits 12 Files Changed 4

+443 -118

xiaoxia commented 2026-08-23 23:55:16 +08:00

Owner

Copy Link

Copy Source

背景

用户反馈：最终生成视频与预览不一致，其中明显问题是成片没有原声（has_audio=False）。

根因

apps/worker/video_processing/render_audio.py 的 mix_audio 中存在：

# ── 丢弃源视频的原始音频（避免录入杂音），成片仅保留 TTS 配音 + BGM ──
main_clips = []

这是 PR #1249（8月6日）为"避免录入杂音"加入的硬编码，无条件丢弃 main/broll 图层所有视频素材的原声。走新路径 RenderAdapter.render_plan（从 DB 直接渲染）时，多片段场景调用 mix_audio，原声被全部丢掉，导致成片无声。

同时直通（pass-through）单片段路径用 has_audio = role != "background" 硬判断，既不探测真实音频流，也不应用每片段的 config.volume（静音片段仍输出声音）。

改动

1. mix_audio 恢复原声：删除 main_clips = []，保留 main/broll 原声；过滤无音频流片段；volume=0 静音片段不送入 concat。
2. 每片段音量：新增 _clip_volume()，concat_main_audio 单clip/多clip 路径均应用 volume 滤镜。
3. 直通路径：_render_pass_through 改为先 probe_has_audio 再决定是否编码音频，并应用 per-clip volume。
4. stream copy：音量非默认值时回退重编码（copy 无法应用音频滤镜）。
5. 更新 test_unified_render_service 中所有"原声被丢弃"的旧断言为新行为。
6. 新增 test_original_audio_retained.py（9 个回归测试）。

验证

• 容器内 161 个相关单测全部通过。
• 其他项已在代码中逐项核对：clips 按 order 排序用 start_time/duration 精确剪切、标题从 plan.config.title 读取 text/font/size/color/position/bold/stroke/shadow、BGM 从 plan.config.bgm、配音通过 voiceover_audio_path、转场走 xfade/concat、分辨率从 plan.config.export.resolution，均无回退到默认值或重新分析的逻辑。

联动

前端需确保正式生成与预览都传 source_edit_plan_id（前端 Agent 任务一/二），否则会走内存模式，仍可能与预览不一致。

## 背景 用户反馈：最终生成视频与预览不一致，其中明显问题是**成片没有原声**（`has_audio=False`）。 ## 根因 `apps/worker/video_processing/render_audio.py` 的 `mix_audio` 中存在： ```python # ── 丢弃源视频的原始音频（避免录入杂音），成片仅保留 TTS 配音 + BGM ── main_clips = [] ``` 这是 PR #1249（8月6日）为"避免录入杂音"加入的硬编码，无条件丢弃 main/broll 图层所有视频素材的原声。走新路径 `RenderAdapter.render_plan`（从 DB 直接渲染）时，多片段场景调用 `mix_audio`，原声被全部丢掉，导致成片无声。 同时直通（pass-through）单片段路径用 `has_audio = role != "background"` 硬判断，既不探测真实音频流，也不应用每片段的 `config.volume`（静音片段仍输出声音）。 ## 改动 1. **mix_audio 恢复原声**：删除 `main_clips = []`，保留 main/broll 原声；过滤无音频流片段；`volume=0` 静音片段不送入 concat。 2. **每片段音量**：新增 `_clip_volume()`，`concat_main_audio` 单clip/多clip 路径均应用 `volume` 滤镜。 3. **直通路径**：`_render_pass_through` 改为先 `probe_has_audio` 再决定是否编码音频，并应用 per-clip volume。 4. **stream copy**：音量非默认值时回退重编码（copy 无法应用音频滤镜）。 5. 更新 `test_unified_render_service` 中所有"原声被丢弃"的旧断言为新行为。 6. 新增 `test_original_audio_retained.py`（9 个回归测试）。 ## 验证 - 容器内 161 个相关单测全部通过。 - 其他项已在代码中逐项核对：clips 按 order 排序用 start_time/duration 精确剪切、标题从 plan.config.title 读取 text/font/size/color/position/bold/stroke/shadow、BGM 从 plan.config.bgm、配音通过 voiceover_audio_path、转场走 xfade/concat、分辨率从 plan.config.export.resolution，均无回退到默认值或重新分析的逻辑。 ## 联动 前端需确保正式生成与预览都传 source_edit_plan_id（前端 Agent 任务一/二），否则会走内存模式，仍可能与预览不一致。

xiaoxia added 1 commit 2026-08-23 23:55:16 +08:00

fix(worker): render_plan 保留视频原声并尊重每clip音量 ... c2a510331e

根因：render_audio.mix_audio 中 main_clips = [] 无条件丢弃主图层源视频
原声（PR #1249 "避免录入杂音"），导致走新路径 render_plan 生成的成片
没有原声，与预览不一致（用户反馈"音频没有"）。

修复：
- mix_audio 保留 main/broll 原声，按 clip.config.volume 控制音量，
  无音频流/静音(volume=0)的 clip 安全过滤
- concat_main_audio 单clip与多clip路径均应用 per-clip volume 滤镜
- 直通渲染(_render_pass_through)改为先 probe_has_audio 再决定是否编码
  音频，并应用 per-clip volume；不再无条件假设 main 带音频
- stream copy 在音量非默认时回退重编码
- 新增 _clip_volume 辅助函数(render_audio + UnifiedRenderService)
- 更新 test_unified_render_service 旧"丢弃原声"断言为新行为
- 新增 test_original_audio_retained.py 9 个回归测试

验证：161 个相关单测全部通过

gitea-actions bot commented 2026-08-23 23:58:39 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1474
预览链接	https://pr-1474.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1474 | | 预览链接 | [https://pr-1474.preview.xiaoxiajianji.com](https://pr-1474.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot added 1 commit 2026-08-23 23:59:38 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] e3420610a3

xiaoxia added 1 commit 2026-08-24 00:10:10 +08:00

fix: address AI code review - probe defaults to no audio, safe af filter ... 2f76509a5b

- render_audio.py: simple mode builds af_parts list then joins into single -af (defensive against future multi-clip)
- unified_render_service.py: probe_has_audio exception now defaults to False with warning log (was unsafe True)
- test: add test_pass_through_probe_exception_defaults_to_no_audio

xiaoxia added 1 commit 2026-08-24 00:15:27 +08:00

fix: audio filter order (denoise before volume) + clarify reverse path comment ... a628b4ca8e

- _render_pass_through: move volume filter after denoise to avoid amplifying noise before denoising
- concat_main_audio: add comment explaining speed/reverse go through filter_complex else branch, not simple path

auto-approve-bot approved these changes 2026-08-24 00:20:30 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

auto-approve-bot approved these changes 2026-08-24 00:20:30 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

xiaoxia added 1 commit 2026-08-24 00:21:34 +08:00

fix: -ss as input option before -i, probe exception re-raises ... 41d503299a

- render_audio.py: move -ss before -i so FFmpeg uses seek (fast) instead of decode-and-discard (slow)
- unified_render_service.py: probe_has_audio fatal exception now logs error and re-raises (fail-fast, no silent audio loss)
- test: update probe exception test to expect RuntimeError

auto-approve-bot added 1 commit 2026-08-24 00:24:39 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] d7d68c0ceb

xiaoxia added 1 commit 2026-08-24 00:30:43 +08:00

Merge remote-tracking branch 'origin/develop' into fix/render-plan-audio-integrity 0081ce7641

xiaoxia added 1 commit 2026-08-24 00:36:20 +08:00

fix: volume=0 clips retained with silence filter to preserve A/V sync ... 115455bacc

- render_audio.py: stop filtering out volume=0 clips from concat; they produce silence via volume=0 filter, keeping timeline aligned
- unified_render_service.py: probe audio regardless of volume; volume=0 applied as filter, not by dropping stream
- test: update test_silent_clip to verify volume=0 clip retained with volume=0 filter

xiaoxia added 1 commit 2026-08-24 00:42:48 +08:00

fix: move -ss back after -i for sample-accurate audio trimming ... b81e91e79a

Input seek (-ss before -i) uses keyframe seeking which may skip to the
wrong keyframe for audio, causing A/V desync in concatenated output.
For a rendering service, precision > speed. Use output seeking.

xiaoxia added 1 commit 2026-08-24 00:49:06 +08:00

fix: add speed_cfg.clamp() + comment explaining multi-stage atempo in pass-through ... 4f6ac9c8aa

SpeedEngine.build_audio_filter already handles out-of-range speeds via
multi-stage atempo chaining (e.g. 0.25x -> atempo=0.5,atempo=0.5).
Add explicit clamp() and comment to make this clear.

xiaoxia added 1 commit 2026-08-24 00:55:33 +08:00

fix: use atrim filter for precise+efficient audio trimming in simple path ... cdf955ea3a

Replace -ss output seeking (which decodes all data before trim point)
with atrim filter in -af chain. Filter order: atrim -> asetpts -> volume,
ensuring volume is only applied to the retained segment.

When no trimming needed, use direct extraction for maximum efficiency.

xiaoxia added 1 commit 2026-08-24 01:04:05 +08:00

fix: unify audio filter order (denoise -> speed -> reverse -> volume) ... af72a26fab

- _render_pass_through: move volume filter to last position (after
  speed/reverse), matching concat_main_audio order for consistent output
- render_audio: remove redundant -t when atrim already controls duration

auto-approve-bot commented 2026-08-24 01:10:45 +08:00

Collaborator

Copy Link

Copy Source

代码审查结果 - PR #1474

⚠️ 问题（0个需要修改）

无

💡 建议（2个可选）

1. apps/worker/video_processing/render_audio.py & unified_render_service.py：_clip_volume 函数在两个文件中完全重复，建议提取到公共工具模块（如 ffmpeg_utils.py 或新建 clip_utils.py）以避免代码冗余和维护成本。
2. apps/worker/video_processing/unified_render_service.py 第1283行：代码逻辑假设 role == "background" 时无音频 (has_audio = False)。如果未来业务背景支持视频素材且需保留原声，此处会导致静音。建议添加注释说明该假设，或在 probe_has_audio 失败时考虑更灵活的降级策略。

---

✅ 格式检查通过 | ✅ 逻辑审查通过 | ✅ 性能无明显问题

---

_{🤖 由 AI 代码审查机器人自动生成 | 2026-08-23 17:10:45 | 模型:}

## 代码审查结果 - PR #1474 ### ⚠️ 问题（0个需要修改） 无 ### 💡 建议（2个可选） 1. **apps/worker/video_processing/render_audio.py & unified_render_service.py**：`_clip_volume` 函数在两个文件中完全重复，建议提取到公共工具模块（如 `ffmpeg_utils.py` 或新建 `clip_utils.py`）以避免代码冗余和维护成本。 2. **apps/worker/video_processing/unified_render_service.py 第1283行**：代码逻辑假设 `role == "background"` 时无音频 (`has_audio = False`)。如果未来业务背景支持视频素材且需保留原声，此处会导致静音。建议添加注释说明该假设，或在 `probe_has_audio` 失败时考虑更灵活的降级策略。 --- ✅ 格式检查通过 | ✅ 逻辑审查通过 | ✅ 性能无明显问题 --- _{🤖 由 AI 代码审查机器人自动生成 | 2026-08-23 17:10:45 | 模型:} <!-- AI_CODE_REVIEW_AUTO_COMMENT -->

auto-approve-bot merged commit 61770cd4e4 into develop 2026-08-24 01:16:00 +08:00

auto-approve-bot deleted branch fix/render-plan-audio-integrity 2026-08-24 01:16:00 +08:00

gitea-actions bot commented 2026-08-24 01:17:28 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1474 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1474 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this pull request 2026-08-24 12:14:01 +08:00

fix: 修复 CI 失败的 4 个单元测试 #1478

Sign in to join this conversation.

Reviewers

No Reviewers

auto-approve-bot

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1474