feat(ai-avatar): #1797/#1822 集成分支合入 develop 发布 staging（TTS直生对口型+智能封面） #1827

Merged

xiaoxia merged 12 commits from fix/ai-avatar-v3-1797 into develop 2026-09-09 23:45:16 +08:00

Conversation 2 Commits 12 Files Changed 27

+1528 -279

xiaoxia commented 2026-09-09 20:08:48 +08:00

Owner

Copy Link

Copy Source

说明

将 AI 数字人集成分支 fix/ai-avatar-v3-1797 合入 develop，触发 staging 部署。

后端改动（#1797/#1822，PR #1826 已合并，CI 全绿）

1. 对口型 POST /api/v1/lipsync/jobs 支持 TTS 直生模式（voice_id+script_text+speed+emotion），后端内部 CosyVoice 合成音频→转存 OSS→提交 MediaKit；保留 audio_url 模式
2. TTS 全链路透传 speed(→CosyVoice rate)/emotion(自然/兴奋/沉稳/亲切→natural/excited/calm/friendly)
3. 新增 POST /api/v1/ai-avatar/render/smart-cover 智能封面接口（MediaKit 抽帧+质量评分选帧）
4. 渲染 script_id 改为可选；lipsync/ai-avatar 路由修了 current_user.user.id

数据库迁移（部署时需执行 alembic upgrade）

• 073_add_lipsync_tts_fields（lipsync_jobs 加 voice_id/script_text/speed/emotion，audio_url 改可空）
• 074_ai_avatar_render_script_id_optional（ai_avatar_render_jobs.script_id 默认空串）

## 说明 将 AI 数字人集成分支 fix/ai-avatar-v3-1797 合入 develop，触发 staging 部署。 ## 后端改动（#1797/#1822，PR #1826 已合并，CI 全绿） 1. 对口型 POST /api/v1/lipsync/jobs 支持 TTS 直生模式（voice_id+script_text+speed+emotion），后端内部 CosyVoice 合成音频→转存 OSS→提交 MediaKit；保留 audio_url 模式 2. TTS 全链路透传 speed(→CosyVoice rate)/emotion(自然/兴奋/沉稳/亲切→natural/excited/calm/friendly) 3. 新增 POST /api/v1/ai-avatar/render/smart-cover 智能封面接口（MediaKit 抽帧+质量评分选帧） 4. 渲染 script_id 改为可选；lipsync/ai-avatar 路由修了 current_user.user.id ## 数据库迁移（部署时需执行 alembic upgrade） - 073_add_lipsync_tts_fields（lipsync_jobs 加 voice_id/script_text/speed/emotion，audio_url 改可空） - 074_ai_avatar_render_script_id_optional（ai_avatar_render_jobs.script_id 默认空串）

xiaoxia added 5 commits 2026-09-09 20:08:48 +08:00

feat: #1797 AI数字人前端页面v3 — 素材库选择/配音库复用/TitleStylePanel直接import ... b5bc285aff

- 面板1：出镜视频改为从素材库弹窗选择（ModalAssetPicker），竖屏9:16预览
- 面板2：配音库改为系统预设/我的音色双tab切换，复用 /api/v1/voices
- 面板3：对口型三态（生成/进度/完成+重新生成），竖屏9:16预览
- 面板4：标题配置直接 import TitleStylePanel + TITLE_PRESETS，与智能剪辑完全一致
- 面板5：封面+分辨率+配置汇总+渐变生成按钮，删除多余画面插入模式
- B-roll弹窗：已选素材标灰pointer-events:none防重选，画中画四角位置
- 路由 /app/ai-avatar + 侧边栏AI数字人导航项

feat(ai-avatar): TTS直生对口型 + 语速/情绪透传 + MediaKit智能封面 + 契约文档 ... a27ed596b4

- 对口型支持 TTS 直生模式：POST /lipsync/jobs 传 voice_id+script_text(+speed/emotion)，
  后端内部调 CosyVoice 合成音频→转存OSS→提交 MediaKit；保留 audio_url 直接音频模式
- cosyvoice_service: 新增 emotion 参数 + normalize_emotion（中文 自然/兴奋/沉稳/亲切
  映射 natural/excited/calm/friendly），空值不透传
- TTS 链路 speed/emotion 全链路透传：schema→use_case(metadata)→workflow(单段/分段/重合成)
  →submit_synthesize_task(rate/emotion)；preview 即时试听同步
- lipsync refresh: 中间状态(running/processing)同步DB；completed 输出视频转存自家OSS防过期
- 修复 lipsync/ai-avatar 路由 current_user.id → current_user.user.id（AuthenticatedUser 无 .id）
- 新增 POST /ai-avatar/render/smart-cover 独立封面接口：复用 MediaKit extract_frames
  + cover_frame_scorer 评分选最佳帧（非 FFmpeg 首帧），渲染管线封面同样优先智能选帧
- 迁移 073: lipsync_jobs 增加 voice_id/script_text/speed/emotion 列，audio_url 改可空
- docs/ai-avatar-api-contract-1822.md: 前后端接口契约 + title_config 字段清单
- 新增 11 个单测（情绪归一化/payload透传/TTS直生/中间状态/智能封面），相关 82 测试全绿

Refs #1797 #1822

fix: 在 worker Dockerfile 中添加 HEALTHCHECK 指令 ... 8052f245ec

将健康检查命令直接写入 Docker 镜像，确保 Watchtower 重建容器时使用正确的健康检查。
修复 Worker 容器持续显示 unhealthy 的问题。

fix(ai-avatar): 契约文档标题字段纠正 + script_id 改为可选 ... 4d09bd630e

- 文档 §5/§6：标题是单个 title_config dict（非 titles[] 数组），字段以
  build_title_drawtext_filter() 为准：text/content、font_size/size、
  font_color/color、position(top/center/bottom/custom)、pos_x/pos_y、bold、
  stroke、shadow、enabled；删除不存在的 titles[]/fontSize/frame/start/end 描述
- script_id 改为可选：手动输入文案/TTS 直生场景不关联文案库条目，留空不校验，
  避免手动文案用户被 ScriptNotFound 卡住；选了文案库时仍做归属校验
- 迁移 074：ai_avatar_render_jobs.script_id 默认空串
- 新增 schema 单测（script_id 空/空白/title_config 单 dict），94 测试全绿

Refs #1797 #1826

feat(ai-avatar): #1822 TTS直生对口型 + 语速/情绪透传 + MediaKit智能封面 (#1826) ... 6e99e64f73

TTS直生/情绪语速透传/智能封面/契约文档/script_id可选 #1797 #1822

auto-approve-bot added 1 commit 2026-09-09 20:11:26 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] 7adcf28b76

gitea-actions bot commented 2026-09-09 20:14:25 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1827
预览链接	https://pr-1827.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1827 | | 预览链接 | [https://pr-1827.preview.xiaoxiajianji.com](https://pr-1827.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

xiaoxia added 1 commit 2026-09-09 20:32:00 +08:00

test(ai-avatar): 同步 #1822 过期测试断言 ... 9f94ef24c1

- test_tts_preview: preview 路由现在总是透传 emotion（默认空串），
  4 处 synthesize_speech 断言补充 emotion=''
- test_ai_avatar_render_service: script_id 改为可选后，
  空值应规范化为空串而非抛 ValueError；lipsync_job_id 仍必填

全量 14967 passed, 0 failed

xiaoxia added 1 commit 2026-09-09 21:00:48 +08:00

feat(ai-avatar): 前端对接 #1826 后端契约 — 模式A对口型/语速情绪/智能封面/标题字段映射 (#1828) f4cac1dc6e

xiaoxia added 1 commit 2026-09-09 21:11:20 +08:00

style(ai-avatar): prettier 格式化 PanelTitleConfig/TitleLibraryModal ... f72d640e8c

修复 #1828 前端对接代码的 prettier check 失败，仅格式调整无逻辑改动。

xiaoxia added 1 commit 2026-09-09 23:02:31 +08:00

merge: 合并 develop 解决 AI数字人冲突（v3新契约 + develop增强 双保留） ... 4efa71ec36

前端7文件（基于 v3 契约为主干融合 develop 增强，#1828口径）：
- 对口型模式A: video_url+voice_id+script_text+speed+emotion(英文枚举,禁传video_asset_id)
- title_config 按 build_title_drawtext_filter 真实字段映射(text/font_size/font_color/position默认bottom/enabled/bold/stroke/shadow), 不传 titles[]/fontSize/frame
- 智能封面 POST /ai-avatar/render/smart-cover; 语速情绪全链路透传
- 保留 develop: MediaKit中间状态/非阻塞轮询(running中间态)/标题TextArea实时预览+标题库(TitleLibraryModal)
后端4文件取 backend/ai-avatar-merge-1827(0e994072) 已解版本（双模式/TTS直生/emotion透传/中间状态）
tsc ai-avatar 零错误, prettier 全合规

xiaoxia added 1 commit 2026-09-09 23:19:21 +08:00

test(lipsync): 采用后端解冲突版 test_lipsync_routes.py（v3 submit_synthesize_task 契约） ... a199fb0fc4

4efa71ec 合并时 tests/unit/test_lipsync_routes.py 误取了 develop #1809 版本
（synthesize_speech/route._resolve_voice_id/断言 audio_url 移除），与合并后
v3 #1822 双模式实现不一致，导致 7 个单测失败。改用后端解冲突分支
backend/ai-avatar-merge-1827 (0e994072) 中已适配 v3 的版本：
mock submit_synthesize_task、emotion 兴奋→excited、双模式 audio_url 保留。
本地验证该文件 28 passed、lipsync/avatar/tts 相关 79 passed。

auto-approve-bot added 1 commit 2026-09-09 23:21:49 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] 01ae42edc6

xiaoxia merged commit e679b54ebc into develop 2026-09-09 23:45:16 +08:00

gitea-actions bot commented 2026-09-09 23:46:34 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1827 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1827 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1827