fix(viral-video): #2106 P0 渲染阻塞修复 + Seedance 2.5 对接 + image_analysis 持久化 #2106

Merged

xiaoxia merged 6 commits from fix/2106-viral-video-p0-render into develop 2026-09-30 19:06:34 +08:00

Conversation 2 Commits 6 Files Changed 11

+1270 -118

xiaoxia commented 2026-09-30 17:00:21 +08:00

Owner

Copy Link

Copy Source

变更

P0-1: Seedance 2.5 视频生成对接（核心）

• DoubaoClient.video_generation(): 方舟 /contents/generations/tasks 异步任务，submit→poll→download MP4，返回本地路径
• ai_service.call_video_generation(): 高层封装
• _step_render 重写：按 storyboard 分镜逐段调 Seedance（无声）→ concat_video_files → 混入 TTS 音频（ffmpeg -map 0:v/1:a）
• 分镜失败自动 ffmpeg color 源占位兜底

P0-2: video_analysis import 路径修复

• from worker_app.tasks.viral_video_analyzer → from viral_video.video_analyzer import analyze_video_style

P0-3: image_analysis 持久化

• ViralVideoJob 加 image_analysis 字段；ORM/Repo/Migration 087 同步
• run_pipeline 后立即持久化，resume 从 job.image_analysis 读

P1

• TTS 返回 Path|None 统一；BGM 返回 None 跳过；MuseTalk 端点未就绪前统一跳过（含 persona 场景）
• TTS 工厂 import 路径修正：worker_app.services → services
• 新增 15 个单测覆盖关键路径

测试

• 本地 16317 passed（musetalk server 2 个失败与本 PR 无关，是既存问题）
• viral_video 相关 63 个测试全通过
• black/ruff 已格式化

## 变更 ### P0-1: Seedance 2.5 视频生成对接（核心） - `DoubaoClient.video_generation()`: 方舟 `/contents/generations/tasks` 异步任务，submit→poll→download MP4，返回本地路径 - `ai_service.call_video_generation()`: 高层封装 - `_step_render` 重写：按 storyboard 分镜逐段调 Seedance（无声）→ concat_video_files → 混入 TTS 音频（ffmpeg -map 0:v/1:a） - 分镜失败自动 ffmpeg color 源占位兜底 ### P0-2: video_analysis import 路径修复 - `from worker_app.tasks.viral_video_analyzer` → `from viral_video.video_analyzer import analyze_video_style` ### P0-3: image_analysis 持久化 - ViralVideoJob 加 image_analysis 字段；ORM/Repo/Migration 087 同步 - run_pipeline 后立即持久化，resume 从 job.image_analysis 读 ### P1 - TTS 返回 Path|None 统一；BGM 返回 None 跳过；MuseTalk 端点未就绪前统一跳过（含 persona 场景） - TTS 工厂 import 路径修正：worker_app.services → services - 新增 15 个单测覆盖关键路径 ## 测试 - 本地 16317 passed（musetalk server 2 个失败与本 PR 无关，是既存问题） - viral_video 相关 63 个测试全通过 - black/ruff 已格式化

xiaoxia added 1 commit 2026-09-30 17:00:21 +08:00

fix(viral-video): #2106 P0 渲染阻塞修复 + Seedance 2.5 对接 + image_analysis 持久化 ... 1005077785

P0-1: Seedance 2.5 视频生成对接
- packages/shared/ai_client.py: DoubaoClient 新增 video_generation(prompt, image_url, duration, ratio, ...)
  方法：走方舟 /contents/generations/tasks 异步任务（submit→poll→download），返回本地 MP4 路径
- packages/shared/ai_service.py: 新增 call_video_generation() 高层封装
- packages/config/base.py: 新增 doubao_video_model/doubao_video_timeout/doubao_video_poll_interval 配置
- apps/worker/.../viral_video.py _step_render 重写：按 storyboard 分镜逐段调 Seedance 生成短视频
  → ffmpeg concat 拼接 → 混入 TTS 音频（-map 0:v/1:a -shortest -c:v copy）
- 单分镜失败自动用 ffmpeg color 源占位片段兜底，保证 concat 不中断
- 新增 _normalize_storyboard/_fallback_storyboard/_build_segment_prompt/_probe_ok/_make_placeholder_clip
  等辅助函数

P0-2: _step_video_analysis import 路径修复
- from worker_app.tasks.viral_video_analyzer → from viral_video.video_analyzer import analyze_video_style
  （文件在 apps/worker/viral_video/video_analyzer.py，worker PYTHONPATH 包含 apps/worker）
- ImportError 仍兜底返回占位 style_guide，不阻塞流水线

P0-3: image_analysis 持久化
- packages/domain/viral_video.py: ViralVideoJob 新增 image_analysis: dict|None 字段
- packages/adapters/sqlalchemy_impl/models.py: viral_video_jobs 加 image_analysis JSON 列
- packages/adapters/sqlalchemy_impl/viral_video_repository.py: _to_domain/save/update 同步该字段
- alembic/versions/087_viral_video_image_analysis.py: migration 087
- run_viral_video_pipeline: step1 后立即 job.image_analysis = image_analysis 并 _save_job
- resume_viral_video_pipeline: 从 job.image_analysis 读取，不再硬编码空 dict

P1 顺手修复：
- _step_tts: 返回值统一为 Path|None，Path 不存在/ImportError/synthesize 失败均返回 None
- _step_bgm_select: BGM 素材未就绪前统一返回 None，渲染时跳过 BGM 混音
- _step_musetalk: GPU 端点未就绪前（即使有 persona_id）也直接跳过，不发 HTTP 请求
- TTS 工厂 import 路径修正: worker_app.services.tts_service_factory → services.tts_service_factory
- credits_cost 赋值保留 TODO（等 credits.deduct() 总开关）
- tests/unit/test_viral_video.py: BGM/TTS mock 对齐新返回语义
- tests/unit/test_viral_video_p0.py: 新增 15 个单测覆盖 video_analysis/storyboard 规范化/
  TTS Path 处理/BGM None/MuseTalk 跳过/call_video_generation 委托/placeholder clip/resume 读 job

gitea-actions bot commented 2026-09-30 17:02:46 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#2106
预览链接	https://pr-2106.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #2106 | | 预览链接 | [https://pr-2106.preview.xiaoxiajianji.com](https://pr-2106.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot added 1 commit 2026-09-30 17:12:33 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] 49678120e9

xiaoxia referenced this issue from a commit 2026-09-30 17:45:16 +08:00

test(viral-video): #2106 补充 ai_client.video_generation 单测覆盖 submit/poll/download 主路径与失败分支

xiaoxia added 1 commit 2026-09-30 17:45:16 +08:00

test(viral-video): #2106 补充 ai_client.video_generation 单测覆盖 submit/poll/download 主路径与失败分支 ... 27b96249dc

覆盖 13 个场景：
- happy path: submit → poll(succeeded) → stream 下载(含空 chunk 分支)
- 不可用/空 prompt/create 返回无 id/poll failed/cancelled/download 异常
- create 重试 + poll expired、poll 异常吞掉继续
- get_doubao_client 单例懒加载
- ai_service.call_video_generation 异常分支

本地 coverage: ai_client.py video_generation 相关行全部覆盖，ai_service 新增 3 行覆盖。

auto-approve-bot added 1 commit 2026-09-30 17:54:40 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] 1afda93b1a

xiaoxia added 1 commit 2026-09-30 18:38:08 +08:00

test(viral-video): #2106 修复 ai_client 单测 StopIteration (logging 内部调用 time.time 耗尽 iter) ... 2f2a5b5d86

把 time.time mock 从固定 iter([...]) 改为闭包 _fake_time_factory:
前 N 次返回递增时间戳(用于 deadline 起始判断),之后返回大值让 deadline 立即到期。
新增 default_output_dir+generate_audio+watermark 分支测试,覆盖 /tmp 兜底。

xiaoxia referenced this issue from a commit 2026-09-30 18:38:08 +08:00

test(viral-video): #2106 修复 ai_client 单测 StopIteration (logging 内部调用 time.time 耗尽 iter)

auto-approve-bot added 1 commit 2026-09-30 18:46:19 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] b7ade0e907

xiaoxia merged commit 6ff57b2feb into develop 2026-09-30 19:06:34 +08:00

xiaoxia referenced this issue from a commit 2026-09-30 19:06:36 +08:00

fix(viral-video): #2106 P0 渲染阻塞修复 + Seedance 2.5 对接 + image_analysis 持久化

xiaoxia referenced this issue from a commit 2026-09-30 19:06:36 +08:00

test(viral-video): #2106 补充 ai_client.video_generation 单测覆盖 submit/poll/download 主路径与失败分支

xiaoxia referenced this issue from a commit 2026-09-30 19:06:36 +08:00

test(viral-video): #2106 修复 ai_client 单测 StopIteration (logging 内部调用 time.time 耗尽 iter)

gitea-actions bot commented 2026-09-30 19:11:09 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #2106 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #2106 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this issue from a commit 2026-09-30 20:42:14 +08:00

refactor(viral-video): #2106 删除 _step_musetalk 步骤

xiaoxia referenced this pull request 2026-09-30 20:42:22 +08:00

chore(viral-video): #2106 删除 _step_musetalk 步骤（Seedance 直生口型） #2108

xiaoxia referenced this issue from a commit 2026-09-30 21:12:35 +08:00

Merge pull request 'chore(viral-video): #2106 删除 _step_musetalk 步骤（Seedance 直生口型）' (#2108) from chore/2106b-remove-musetalk into develop

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#2106