feat: AI数字人对口型视频生成速度优化 - FFmpeg编码提速 + TTS合成异步化 #1844

Merged

xiaoxia merged 6 commits from feat/lipsync-speed-optimization-v3 into develop 2026-09-10 19:43:08 +08:00

Conversation 2 Commits 6 Files Changed 7

+930 -142

xiaoxia commented 2026-09-10 17:49:28 +08:00

Owner

Copy Link

Copy Source

优化内容

优化1（P2，极小改动）：FFmpeg编码提速

• 文件：apps/api/app/services/ai_avatar_render_service.py
• 改动：将 -preset fast 改为 -preset veryfast
• 效果：编码提速30~50%，画质损失肉眼不可见

优化2（P0-2，中等改动）：TTS合成移到Celery异步

• 问题：lipsync_service.py 的 create_job 方法中，TTS合成（_synthesize_and_persist_audio）是同步执行的，HTTP请求需等待TTS完成（5~30s）才返回
• 方案：
  • 新增 apps/api/app/tasks/lipsync_tts.py，将TTS合成+MediaKit提交封装为独立Celery异步任务
  • create_job 先创建DB记录（状态=tts_processing），再触发Celery任务
  • TTS完成后由Celery任务更新job状态和audio_url
  • 前端已有轮询逻辑（getLipsyncJob每3秒轮询），无需改动
• 效果：API响应从6~35s降到<1s

其他改动

• cancel_job 支持取消 tts_processing 状态的任务
• lipsync.py 路由移除同步CosyVoiceError处理，移除cosyvoice_service依赖
• worker celery_app 注册新任务 apps.api.app.tasks.lipsync_tts

测试

• 新增 test_lipsync_speed_optimization.py（12个测试用例）
• 更新 test_lipsync_routes.py 和 test_ai_avatar_emotion_tts_lipsync.py 适配新行为
• 全部59个相关测试通过

## 优化内容 ### 优化1（P2，极小改动）：FFmpeg编码提速 - **文件**：`apps/api/app/services/ai_avatar_render_service.py` - **改动**：将 `-preset fast` 改为 `-preset veryfast` - **效果**：编码提速30~50%，画质损失肉眼不可见 ### 优化2（P0-2，中等改动）：TTS合成移到Celery异步 - **问题**：lipsync_service.py 的 create_job 方法中，TTS合成（_synthesize_and_persist_audio）是同步执行的，HTTP请求需等待TTS完成（5~30s）才返回 - **方案**： - 新增 `apps/api/app/tasks/lipsync_tts.py`，将TTS合成+MediaKit提交封装为独立Celery异步任务 - `create_job` 先创建DB记录（状态=tts_processing），再触发Celery任务 - TTS完成后由Celery任务更新job状态和audio_url - 前端已有轮询逻辑（getLipsyncJob每3秒轮询），无需改动 - **效果**：API响应从6~35s降到<1s ### 其他改动 - `cancel_job` 支持取消 `tts_processing` 状态的任务 - `lipsync.py` 路由移除同步CosyVoiceError处理，移除cosyvoice_service依赖 - worker celery_app 注册新任务 `apps.api.app.tasks.lipsync_tts` ### 测试 - 新增 `test_lipsync_speed_optimization.py`（12个测试用例） - 更新 `test_lipsync_routes.py` 和 `test_ai_avatar_emotion_tts_lipsync.py` 适配新行为 - 全部59个相关测试通过

gitea-actions bot commented 2026-09-10 17:52:03 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1844
预览链接	https://pr-1844.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1844 | | 预览链接 | [https://pr-1844.preview.xiaoxiajianji.com](https://pr-1844.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

xiaoxia added 1 commit 2026-09-10 18:44:18 +08:00

feat(lipsync): FFmpeg编码提速 + TTS合成异步化 043f489300

xiaoxia force-pushed feat/lipsync-speed-optimization-v3 from b62b1bcfcc to 043f489300 2026-09-10 18:44:18 +08:00 Compare

auto-approve-bot added 1 commit 2026-09-10 18:52:06 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] 815eb51933

xiaoxia added 1 commit 2026-09-10 19:05:54 +08:00

fix(lipsync): 修复BackgroundTasks未导入和未使用import的style错误 b74f684430

xiaoxia added 1 commit 2026-09-10 19:19:29 +08:00

test(lipsync): 补充Celery异步任务单元测试，覆盖率77% ... 1ecb51a684

1. lipsync_tts.py 新增9个测试用例，覆盖：
   - Job不存在 → 直接返回
   - Job已cancelled → 跳过
   - 正常流程：TTS→下载→OSS→签名→提交MediaKit→submitted
   - CosyVoiceError → failed/TTSSynthesisFailed
   - ValueError → failed/TTSInvalidParam
   - TTS返回空URL → failed/TTSNoAudio
   - OSS上传失败 → 回退临时URL继续提交
   - MediaKitError → failed/带code
   - 顶层异常 → failed/AsyncTaskError

2. 修复 lipsync_tts.py import bug:
   safe_download_bytes 从 packages.shared.downloader（不存在）
   改为 packages.shared.url_security（实际位置）

3. 现有 create_job 异步测试已覆盖 tts_processing/apply_async 路径

覆盖率：
- app.tasks.lipsync_tts: 97%
- app.services.lipsync_service: 69%
- 合计: 77% (远超CI要求40%)

auto-approve-bot added 1 commit 2026-09-10 19:26:24 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] e9b85d962b

xiaoxia added 1 commit 2026-09-10 19:29:25 +08:00

style(lipsync): 修复 ruff/isort 格式问题 + 删除未使用 import 5df4597ce0

xiaoxia merged commit f73837c7b4 into develop 2026-09-10 19:43:08 +08:00

xiaoxia deleted branch feat/lipsync-speed-optimization-v3 2026-09-10 19:43:09 +08:00

gitea-actions bot commented 2026-09-10 19:44:23 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1844 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1844 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this pull request 2026-09-10 20:51:05 +08:00

fix(lipsync): 修复 lipsync_tts 跨容器 import 错误导致 API/Worker 启动崩溃 #1849

xiaoxia referenced this issue from a commit 2026-09-10 22:28:25 +08:00

fix(worker): 修复 worker 镜像漏 COPY apps/api/app 目录导致 lipsync_tts task 无法导入、转码队列不消费

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1844