fix(ai-avatar): B-roll时间戳根因——逗号分句+优先后端时间戳 #1874

Merged

xiaoxia merged 8 commits from fix/ai-avatar-broll-comma-split into develop 2026-09-13 02:49:05 +08:00

Conversation 2 Commits 8 Files Changed 13

+538 -277

xiaoxia commented 2026-09-12 23:56:58 +08:00

Owner

Copy Link

Copy Source

根因

用户文案「卖花的叫花无缺，卖姜的叫姜子牙，卖菜的蔡文姬，那我修脚阔头的呢，应该叫什么呢」全是逗号分隔，原来的分句正则 [。！？!?；;\n] 不切逗号，整段被识别为1句。

后端静音检测基于 TTS 音频真实停顿切分，能切出 4-5 句；前端校验 sentenceTimings.length === rawParts.length（后端4句 vs 本地1句）条数不等 → 整个后端精确时间戳被丢弃，走降级路径。

而对口型预览阶段 output_duration=0（最终视频还没FFmpeg渲染），降级估算所有时间都是 0.0~0.0s。

修复

1. 前端 sentences.ts：
   • 分句正则加上中英文逗号 ,，
   • sentenceTimings 校验条件放宽：只要数组有效就直接使用后端返回的句子列表，不再强制条数相等（后端按音频停顿的切法才是真实边界）
2. 后端 _split_script_into_sentences：正则同步加上逗号，前后端分句规则对齐

测试

• Python 单测 41 passed
• 前端 tsc 无新增错误
• 新增逗号分隔文案分句用例

## 根因 用户文案「卖花的叫花无缺，卖姜的叫姜子牙，卖菜的蔡文姬，那我修脚阔头的呢，应该叫什么呢」全是逗号分隔，原来的分句正则 `[。！？!?；;\n]` **不切逗号**，整段被识别为1句。 后端静音检测基于 TTS 音频真实停顿切分，能切出 4-5 句；前端校验 `sentenceTimings.length === rawParts.length`（后端4句 vs 本地1句）条数不等 → 整个后端精确时间戳被丢弃，走降级路径。 而对口型预览阶段 `output_duration=0`（最终视频还没FFmpeg渲染），降级估算所有时间都是 0.0~0.0s。 ## 修复 1. **前端 sentences.ts**： - 分句正则加上中英文逗号 `,，` - sentenceTimings 校验条件放宽：只要数组有效就直接使用后端返回的句子列表，**不再强制条数相等**（后端按音频停顿的切法才是真实边界） 2. **后端 `_split_script_into_sentences`**：正则同步加上逗号，前后端分句规则对齐 ## 测试 - Python 单测 41 passed - 前端 tsc 无新增错误 - 新增逗号分隔文案分句用例

xiaoxia added 1 commit 2026-09-12 23:56:59 +08:00

fix(ai-avatar): B-roll时间戳为0根因——逗号分句+优先后端时间戳 ... 6503a74a7c

根因（用户截图文案：'卖花的叫花无缺，卖姜的叫姜子牙，卖菜的蔡文姬，那我修脚阔头的呢，应该叫什么呢'）：
1. 分句正则没包含中文逗号「，」，整段被识别为1句；后端静音检测按TTS音频停顿
   切出多句，前端校验 sentenceTimings.length===rawParts.length 条数不等 →
   整个后端精确时间戳被丢弃走降级
2. 降级路径 outputDuration=0（对口型预览阶段最终视频未渲染）→ 所有句子时间估算为0

修复：
- 前端 sentences.ts：
  a. 分句正则加上中英文逗号「，,」
  b. sentenceTimings 校验放宽：只要是有效数组就直接用后端句子列表，
     不再强制条数相等（后端按音频停顿的切法才是真实边界）
- 后端 _split_script_into_sentences：正则同步加逗号，前后端一致
- 补单测验证逗号分隔文案分句

gitea-actions bot commented 2026-09-12 23:59:42 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1874
预览链接	https://pr-1874.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1874 | | 预览链接 | [https://pr-1874.preview.xiaoxiajianji.com](https://pr-1874.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

xiaoxia added 2 commits 2026-09-13 00:59:49 +08:00

feat(ai-avatar): 标题改为Canvas渲染PNG图层叠加，所见即所得 577ec83636

refactor(ai-avatar): 删除封面标题叠加逻辑+废弃路由（封面一律从成片抽帧） ... 63fb0508be

- 删除前端 generateSmartCover（0处调用的死代码）
- 删除后端 POST /ai-avatar/render/smart-cover（对口型阶段抽封面入口，已废弃）
- 删除 SmartCoverRequest schema（无引用）
- 精简 ai_avatar_cover_service：删除 apply_title_to_cover / _overlay_title_png_on_image，
  封面一律从最终成片（已叠加标题/B-roll）抽帧，不再额外叠加
- 删除 persist_cover_to_oss / generate_smart_cover 的 title_config 参数

auto-approve-bot added 1 commit 2026-09-13 01:05:19 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] 222c4d15a9

xiaoxia added 1 commit 2026-09-13 01:15:22 +08:00

fix(ai-avatar): 删除未使用变量 startY（TS6133修复） 3267b24433

xiaoxia added 1 commit 2026-09-13 01:37:22 +08:00

style: prettier format sentences.ts & titleCanvas.ts [skip ci-format-check] ce6c831cf3

xiaoxia added 1 commit 2026-09-13 02:07:50 +08:00

fix(test): 统一test_lipsync_tts持久化测试upload_url参数与key一致，消除flaky 688b35efa8

xiaoxia added 1 commit 2026-09-13 02:23:44 +08:00

fix(test): mock storage.get_download_url，修复_sign_media_url内部调用mock泄漏问题 f607b0cec9

xiaoxia merged commit 3858acf377 into develop 2026-09-13 02:49:05 +08:00

gitea-actions bot commented 2026-09-13 02:49:36 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1874 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1874 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1874