xiaoxia/xiaoxia-saas
1
0
Fork 0
Code Issues 16 Pull Requests 14 Actions 34.2k Packages Projects Releases 7 Wiki Activity

[P2][Research] EchoMimicV2真数字人（半身+手势）部署测试评估 #2076

New Issue
Open
opened 2026-09-28 00:26:01 +08:00 by xiaoxia · 0 comments
xiaoxia commented 2026-09-28 00:26:01 +08:00
Owner
Copy Link
Copy Source

背景

当前MuseTalk只做口型同步（lip-sync），输出大头/胸部以上画面，没有表情、头动、手势。蚂蚁集团开源的EchoMimicV2支持单张照片+音频→半身说话视频（含头动/表情/手势），Apache-2.0协议，6.8GB VRAM可跑。

EchoMimicV2核心特性

  • 半身动画：不仅嘴动，还有头动、面部表情、手臂/手势动作
  • 手势由音频驱动（APDH策略）：根据音调/语速/音量/节奏/语气自动生成手势，不需要文本指令
  • 不理解语义：动作来自声学特征而非文字理解
  • Apache-2.0开源可商用
  • SM_120 Blackwell兼容（标准diffusers架构，PyTorch cu128+）

需要做的事（调研评估，不急着接入生产）

  1. 在5060Ti上Docker部署EchoMimicV2（FP16单并发，约6.8GB VRAM）
  2. 测试效果：用现有产品测试图+配音音频，生成半身说话视频
  3. 对比MuseTalk效果差异：嘴型准确度、表情自然度、手势合理性、整体观感
  4. 评估推理速度（单条30秒视频耗时）
  5. 评估与现有MuseTalk的集成方案（是否替代/共存）
  6. 输出测试报告：效果截图/视频、速度数据、显存占用、接入生产的可行性评估

技术注意事项

  • 基于diffusers标准架构，部署比MuseTalk简单（不需要mmcv源码编译）
  • PyTorch需cu128+版本（与现有MuseTalk的torch2.7兼容）
  • 手势是音频驱动，不是用户指令控制，评估时注意这一点
  • Docker化+restart:always+Watchtower

验收标准

  • EchoMimicV2服务在5060Ti上成功运行
  • 生成至少5条测试视频（不同风格/性别/时长）
  • 输出测试评估报告，明确是否替代MuseTalk接入生产
  • 明确生产接入的代码改动量估算
## 背景 当前MuseTalk只做口型同步（lip-sync），输出大头/胸部以上画面，没有表情、头动、手势。蚂蚁集团开源的EchoMimicV2支持单张照片+音频→半身说话视频（含头动/表情/手势），Apache-2.0协议，6.8GB VRAM可跑。 ## EchoMimicV2核心特性 - 半身动画：不仅嘴动，还有头动、面部表情、手臂/手势动作 - 手势由音频驱动（APDH策略）：根据音调/语速/音量/节奏/语气自动生成手势，不需要文本指令 - 不理解语义：动作来自声学特征而非文字理解 - Apache-2.0开源可商用 - SM_120 Blackwell兼容（标准diffusers架构，PyTorch cu128+） ## 需要做的事（调研评估，不急着接入生产） 1. 在5060Ti上Docker部署EchoMimicV2（FP16单并发，约6.8GB VRAM） 2. 测试效果：用现有产品测试图+配音音频，生成半身说话视频 3. 对比MuseTalk效果差异：嘴型准确度、表情自然度、手势合理性、整体观感 4. 评估推理速度（单条30秒视频耗时） 5. 评估与现有MuseTalk的集成方案（是否替代/共存） 6. 输出测试报告：效果截图/视频、速度数据、显存占用、接入生产的可行性评估 ## 技术注意事项 - 基于diffusers标准架构，部署比MuseTalk简单（不需要mmcv源码编译） - PyTorch需cu128+版本（与现有MuseTalk的torch2.7兼容） - 手势是音频驱动，不是用户指令控制，评估时注意这一点 - Docker化+restart:always+Watchtower ## 验收标准 - [ ] EchoMimicV2服务在5060Ti上成功运行 - [ ] 生成至少5条测试视频（不同风格/性别/时长） - [ ] 输出测试评估报告，明确是否替代MuseTalk接入生产 - [ ] 明确生产接入的代码改动量估算
xiaoxia added the P2documentationbackendfeature labels 2026-09-28 00:26:01 +08:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
architecture
架构设计
 backend
后端相关
 blocked
阻塞中
 bug
Bug修复
 ci-bug
CI本身的bug
 ci-optimization
CI优化类任务
 ci-pipeline
CI流水线/workflow相关
 cleanup
代码清理
 devops
运维/部署/CI
 documentation
文档相关
 feature
新功能
 frontend
前端相关
 P0
阻塞性，必须立即处理
 P1
高优先级
 P2
中优先级
 P3
低优先级/后考虑
 question
需要讨论确认
 ready
PR CI通过，可合并
 refactor
代码重构
No Label backend documentation feature P2
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
auto-approve-bot frontend-dev xiaoxia
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#2076
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?