fix(tts): P1 TTS emotion instruction format per voice type + missing CN aliases #1934

Merged

xiaoxia merged 1 commits from fix/p1-tts-emotion-enum into develop 2026-09-15 16:00:58 +08:00

Conversation 3 Commits 1 Files Changed 4

+220 -102

xiaoxia commented 2026-09-15 15:36:47 +08:00

Owner

Copy Link

Copy Source

背景

灵应 13:10 派 P1 任务指出：

1. PR#1933 已合入的英文枚举映射里漏了 中性/伤心/吃惊 三个中文别名；
2. CosyVoice v3 克隆音色应使用英文自然语言 instruction 格式（"Speak in a {emotion} tone."），而非中文固定格式；
3. 默认系统音色 longxiaochun_v3 等不支持 Instruct，不应传 instruction；
4. 顺手修复 Staging E2E 过期用例（方案A：改用 from-assets 默认模板兜底）。

改动

1. emotion 映射补全（packages/application/cosyvoice_service.py）

补 中性→neutral / 伤心→sad / 吃惊→surprised 三个中文别名（灵应指定）。

2. instruction 格式按 voice 类型三路分支

新增 build_emotion_instruction(voice_id, emotion_enum)：

voice 类型	判断条件	instruction 格式
克隆/设计音色	非 long*/loong* 前缀	"Speak in a {emotion} tone."（DashScope 克隆音色支持任意自然语言指令）
支持 emotion Instruct 的系统音色	longanyang/longanhuan/longhuhu_v3	"你说话的情感是{emotion}。"（官方固定中文格式，结尾中文句号不可省）
其他系统音色（含默认 longxiaochun_v3）	默认音色/不支持 Instruct	返回空串，不传 instruction（官方列表标注 "Instruct: 不支持"，传了会被 API 忽略/报错）

依据：阿里云百炼 CosyVoice 音色列表

• longxiaochun_v3（默认音色）Instruct: 不支持
• longanyang/longanhuan/longhuhu_v3 Instruct: 支持

3. voice_clones preview 白名单同步扩展

补 中性/吃惊/伤心 三个中文别名，错误提示文案更新。

4. 单测（210 个 emotion 相关用例全部通过）

• test_cosyvoice_emotion.py：重构为按分支测，覆盖克隆音色英文格式 / 系统音色中文格式 / 默认音色不传 instruction / 大小写 / 别名 / 空值 / 未知值默认 neutral
• test_ai_avatar_emotion_tts_lipsync.py：补克隆音色/longanyang/默认音色三路 payload 断言

5. E2E 修复

apps/web/e2e/core-generation.spec.ts:128 处已在 PR#1931（0e5127df）中改为 GET /templates + 默认模板兜底，方案A 已经生效，无需额外改动。

验证

• 本地：15438 passed, 28 skipped（基线 15333 + 105 新/改）
• black + ruff 全部通过
• 提交后盯 CI

## 背景 灵应 13:10 派 P1 任务指出： 1. PR#1933 已合入的英文枚举映射里漏了 中性/伤心/吃惊 三个中文别名； 2. CosyVoice v3 克隆音色应使用英文自然语言 instruction 格式（"Speak in a {emotion} tone."），而非中文固定格式； 3. 默认系统音色 longxiaochun_v3 等不支持 Instruct，不应传 instruction； 4. 顺手修复 Staging E2E 过期用例（方案A：改用 from-assets 默认模板兜底）。 ## 改动 ### 1. emotion 映射补全（packages/application/cosyvoice_service.py） 补 中性→neutral / 伤心→sad / 吃惊→surprised 三个中文别名（灵应指定）。 ### 2. instruction 格式按 voice 类型三路分支 新增 `build_emotion_instruction(voice_id, emotion_enum)`： | voice 类型 | 判断条件 | instruction 格式 | |---|---|---| | 克隆/设计音色 | 非 `long*/loong*` 前缀 | `"Speak in a {emotion} tone."`（DashScope 克隆音色支持任意自然语言指令） | | 支持 emotion Instruct 的系统音色 | `longanyang`/`longanhuan`/`longhuhu_v3` | `"你说话的情感是{emotion}。"`（官方固定中文格式，结尾中文句号不可省） | | 其他系统音色（含默认 `longxiaochun_v3`） | 默认音色/不支持 Instruct | **返回空串，不传 instruction**（官方列表标注 "Instruct: 不支持"，传了会被 API 忽略/报错） | 依据：[阿里云百炼 CosyVoice 音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - longxiaochun_v3（默认音色）Instruct: 不支持 - longanyang/longanhuan/longhuhu_v3 Instruct: 支持 ### 3. voice_clones preview 白名单同步扩展 补 中性/吃惊/伤心 三个中文别名，错误提示文案更新。 ### 4. 单测（210 个 emotion 相关用例全部通过） - `test_cosyvoice_emotion.py`：重构为按分支测，覆盖克隆音色英文格式 / 系统音色中文格式 / 默认音色不传 instruction / 大小写 / 别名 / 空值 / 未知值默认 neutral - `test_ai_avatar_emotion_tts_lipsync.py`：补克隆音色/longanyang/默认音色三路 payload 断言 ### 5. E2E 修复 `apps/web/e2e/core-generation.spec.ts:128` 处已在 PR#1931（0e5127df）中改为 `GET /templates` + 默认模板兜底，方案A 已经生效，无需额外改动。 ## 验证 - 本地：15438 passed, 28 skipped（基线 15333 + 105 新/改） - black + ruff 全部通过 - 提交后盯 CI

xiaoxia added 1 commit 2026-09-15 15:36:47 +08:00

fix(tts): P1 TTS emotion instruction format per voice type + missing CN aliases ... 7f1d5c95f9

- Add missing CN aliases 中性→neutral, 伤心→sad, 吃惊→surprised (per 灵应 spec)
- Split instruction format by voice type:
  · Cloned/custom voices (non long*/loong* prefix): English 'Speak in a {emotion} tone.'
    (DashScope allows free-form natural language for cloned voices)
  · System voices supporting emotion Instruct (longanyang/longanhuan/longhuhu_v3):
    strict Chinese fixed format '你说话的情感是{emotion}。' per 阿里云百炼 docs
  · Other system voices (incl. default longxiaochun_v3 which doesn't support Instruct):
    skip instruction entirely to avoid being silently dropped/errored by API
- Expand preview emotion whitelist with new CN aliases
- Add/expand unit tests (210 emotion tests passing, 15438 total unit tests passing)
- E2E fix for templates CRUD was already done in PR#1931, no change needed

gitea-actions bot commented 2026-09-15 15:38:25 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1934
预览链接	https://pr-1934.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1934 | | 预览链接 | [https://pr-1934.preview.xiaoxiajianji.com](https://pr-1934.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

xiaoxia closed this pull request 2026-09-15 15:46:52 +08:00

xiaoxia reopened this pull request 2026-09-15 15:47:00 +08:00

gitea-actions bot commented 2026-09-15 15:47:35 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1934 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1934 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia merged commit 59fbbd8e26 into develop 2026-09-15 16:00:58 +08:00

gitea-actions bot commented 2026-09-15 16:03:27 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1934 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1934 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

2 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1934