fix(ai-avatar): 端到端一致性修复（标题/封面/B-roll位置/B-roll时长） #1869

Merged

auto-approve-bot merged 7 commits from fix/ai-avatar-title-cover-broll-alignment into develop 2026-09-12 02:41:11 +08:00

Conversation 2 Commits 7 Files Changed 14

+521 -57

frontend-dev commented 2026-09-12 01:23:55 +08:00

Collaborator

Copy Link

Copy Source

修复 5 个一致性问题

1. 最终视频没有标题

• 后端 drawtext 默认 font_size 从 36→28（对齐前端 DEFAULT_TITLE_CONFIG.size）
• 后端 drawtext 默认 position 从 top→bottom（对齐前端默认值）
• 前端 contract.ts font_size fallback 从 36→28

2 & 5. 封面和视频不一致 / 封面标题和预览不一致

• 渲染完成后自动用 output_cover_url 更新前端封面配置
• 封面标题预览 fontSize 改用 size×0.55 缩放（与对口型预览对齐）
• 封面默认阴影改为 none（与后端 drawtext 无 shadow 行为一致）

3. B-roll 位置和文案位置不一致

• ModalBRollEditor 使用 lipsyncJob.script_text（TTS 时锁定的文案）而非 state.scriptText

4. B-roll 时长不应该估算

• 后端 lipsync_tts.py：TTS 音频用 ffmpeg silencedetect 检测静音点→精确句子时间戳
• 新增 sentence_timings 字段 + Alembic migration
• 前端 sentences.ts 移除字数比例估算，改用后端精确时间戳

额外修复

• 标题拖拽位置：前端改为百分比坐标(0-100) + position:custom
• 后端 drawtext custom 位置改用表达式 x=(w-text_w)×pct_x, y=(h-text_h)×pct_y
• 所有 15018 个 unit tests 通过

## 修复 5 个一致性问题 ### 1. 最终视频没有标题 - 后端 drawtext 默认 font_size 从 36→28（对齐前端 DEFAULT_TITLE_CONFIG.size） - 后端 drawtext 默认 position 从 top→bottom（对齐前端默认值） - 前端 contract.ts font_size fallback 从 36→28 ### 2 & 5. 封面和视频不一致 / 封面标题和预览不一致 - 渲染完成后自动用 output_cover_url 更新前端封面配置 - 封面标题预览 fontSize 改用 size×0.55 缩放（与对口型预览对齐） - 封面默认阴影改为 none（与后端 drawtext 无 shadow 行为一致） ### 3. B-roll 位置和文案位置不一致 - ModalBRollEditor 使用 lipsyncJob.script_text（TTS 时锁定的文案）而非 state.scriptText ### 4. B-roll 时长不应该估算 - 后端 lipsync_tts.py：TTS 音频用 ffmpeg silencedetect 检测静音点→精确句子时间戳 - 新增 sentence_timings 字段 + Alembic migration - 前端 sentences.ts 移除字数比例估算，改用后端精确时间戳 ### 额外修复 - 标题拖拽位置：前端改为百分比坐标(0-100) + position:custom - 后端 drawtext custom 位置改用表达式 x=(w-text_w)×pct_x, y=(h-text_h)×pct_y - 所有 15018 个 unit tests 通过

frontend-dev added 1 commit 2026-09-12 01:23:55 +08:00

fix(ai-avatar): 端到端一致性修复（标题/封面/B-roll位置/B-roll时长） ... 79e6bd52b8

修复5个问题：

1. 最终视频标题一致性
   - 后端 drawtext 默认 font_size 从 36 改为 28（对齐前端 DEFAULT_TITLE_CONFIG.size）
   - 后端 drawtext 默认 position 从 'top' 改为 'bottom'（对齐前端默认值）
   - 前端 contract.ts font_size fallback 从 36 改为 28

2. 封面与视频一致性
   - 渲染完成后自动用 output_cover_url 更新前端封面配置
   - 前端封面标题预览 fontSize 改用 size*0.55 缩放（与对口型预览对齐）
   - 封面默认阴影改为 none（与后端 drawtext 无 shadow 行为对齐）

3. B-roll 位置一致性
   - ModalBRollEditor 使用 lipsyncJob.script_text（TTS 时锁定的文案）
     而非 state.scriptText（用户可能已修改的文案）

4. B-roll 时长精确化
   - 后端 lipsync_tts.py 新增 _compute_sentence_timings()：
     TTS 音频用 ffmpeg silencedetect 检测静音点，与句子边界对齐
   - 新增 sentence_timings JSON 字段到 LipsyncJobModel + Alembic migration
   - 前端 sentences.ts 不再做字数比例估算，改为接收后端精确时间戳
   - ModalBRollEditor 接收 sentenceTimings prop

5. 标题拖拽位置修复
   - PanelLipsyncPreview 拖拽标题发送百分比坐标(0-100) + position:'custom'
   - 后端 build_title_drawtext_filter 的 custom 位置改用 drawtext 表达式
     x=(w-text_w)*{pct_x} y=(h-text_h)*{pct_y}（百分比，与视频尺寸解耦）

文件变更：
- apps/api/app/tasks/lipsync_tts.py: 句子时间戳计算
- apps/api/app/schemas/lipsync.py: sentence_timings 字段
- packages/adapters/sqlalchemy_impl/models.py: sentence_timings 列
- packages/domain/video_filter_builder.py: 百分比坐标 + 默认值对齐
- alembic/versions/075_add_sentence_timings.py: 数据库迁移
- apps/web/src/pages/ai-avatar/types.ts: SentenceTiming + RenderJob.output_cover_url
- apps/web/src/pages/ai-avatar/utils/sentences.ts: 移除字数估算
- apps/web/src/pages/ai-avatar/utils/contract.ts: font_size 默认值
- apps/web/src/pages/ai-avatar/components/PanelLipsyncPreview.tsx: 拖拽百分比
- apps/web/src/pages/ai-avatar/components/PanelCoverAndGenerate.tsx: 标题缩放
- apps/web/src/pages/ai-avatar/components/ModalBRollEditor.tsx: 后端时间戳
- apps/web/src/pages/ai-avatar/AiAvatarPage.tsx: 封面更新 + 传参
- tests/unit/test_video_filter_builder.py: 测试更新

frontend-dev added 1 commit 2026-09-12 01:26:26 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] b7e3d960e8

frontend-dev added 1 commit 2026-09-12 01:36:40 +08:00

fix: CI lint/type fixes ... af0216fd32

- Fix unused variable 'outputDuration' in ModalBRollEditor (ESLint)
- Fix CSS duplicate 'left'/'transform' in PanelLipsyncPreview (TS2783)
- Add script_text to LipsyncJob frontend type (TS2339)
- Fix ruff W605 invalid escape sequences in lipsync_tts.py
- Apply black formatting to lipsync_tts.py and video_filter_builder.py
- Align default font_size (28) between frontend and backend

gitea-actions bot commented 2026-09-12 01:38:26 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1869
预览链接	https://pr-1869.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1869 | | 预览链接 | [https://pr-1869.preview.xiaoxiajianji.com](https://pr-1869.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

frontend-dev added 1 commit 2026-09-12 01:51:30 +08:00

fix: resolve mypy type error - change tuple to set for allowed_mime_types 33c34d5fda

frontend-dev added 1 commit 2026-09-12 02:09:29 +08:00

fix: correct alembic migration down_revision reference bc6a4fd282

frontend-dev added 1 commit 2026-09-12 02:27:13 +08:00

test: add unit tests for sentence timing functions to improve diff coverage ... 0cd4815db8

- Test _split_script_into_sentences: empty, None, whitespace, Chinese/English punctuation, newlines
- Test _estimate_sentence_timings_by_chars: empty, zero/negative duration, single/multiple sentences, unequal distribution
- Test _compute_sentence_timings: empty script, silence detection fallback, sufficient silence points, ffmpeg exception fallback

auto-approve-bot added 1 commit 2026-09-12 02:31:21 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] ea3562a0cf

auto-approve-bot merged commit 938ef0b8cc into develop 2026-09-12 02:41:11 +08:00

auto-approve-bot deleted branch fix/ai-avatar-title-cover-broll-alignment 2026-09-12 02:41:11 +08:00

gitea-actions bot commented 2026-09-12 02:41:37 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1869 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1869 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1869