5 Commits

Author	SHA1	Message	Date
xiaoxia	dd7a5ad658	fix: 增强MuseTalk视觉质量 - GFPGAN面部增强 + 帧率适配 + 高质量音频重采样 ... P0: 集成GFPGAN面部增强后处理 - 懒加载GFPGAN模型，首次推理时自动加载并复用 - 对嘴部/面部区域做增强，提升锐度和纹理细节 - 支持mouth/face两种增强区域模式 - 高斯模糊遮罩平滑融合，消除接缝 P1: 60fps视频帧率适配 - 检测输入视频帧率，>30fps时自动降至25fps推理 - 推理完成后使用minterpolate运动补偿插帧恢复原始帧率 - 消除MuseTalk训练帧率不匹配导致的重复帧问题 P2: 高质量音频重采样 - 使用ffmpeg soxr重采样器(精度28)替代默认线性插值 - 不可用时自动回退默认重采样器 P1: 融合参数优化 - v1.5模型扩大bbox融合区域(下巴+15px，两侧各+2px) - 减少AI生成区域与原画面的接缝感 /inference接口新增face_enhance参数，支持请求级开关 /health接口新增GFPGAN状态和face_enhance_enabled信息	2026-09-20 17:23:17 +08:00
xiaoxia	8ebccd61d9	fix: 集成真实MuseTalk推理 + TTS style/speed/volume参数全链路修复 ... MuseTalk推理修复（P0）: - 替换_run_inference() stub代码为真实MuseTalk推理逻辑 - 新增音频预处理：任意格式→16kHz mono 16bit WAV - 模型懒加载（VAE+UNet+PE+Whisper），首次推理后复用 - 使用mirror indexing循环帧，消除视频循环边界跳变 - bbox_shift参数可通过请求配置（范围-5~5） - FP16推理支持，节省RTX2060显存 - /health接口增加模型加载状态信息 TTS参数透传修复（P0）: - schemas新增style字段（TTSSynthesizeRequest/TTSPreviewRequest/CreateLipsyncJobRequest/AiAvatarTtsPreviewRequest） - schemas新增volume字段（TTSSynthesizeRequest/CreateLipsyncJobRequest） - cosyvoice_service新增STYLE_INSTRUCTION_MAP和build_style_instruction() - submit_synthesize_task新增style/pitch参数支持 - workflow start_synthesis/resynthesize/submit_segments全链路传递style/volume/pitch - tts.py路由/lipsync.py路由/lipsync_service.py全链路透传新参数 - lipsync_tts.py Celery task支持style/volume参数	2026-09-20 15:52:53 +08:00
xiaoxia	08de0d9946	perf: async GPU lipsync inference + fix 16x performance regression ... - Move GPU wait_for_result to Celery background task (lipsync_gpu_process_async) POST /lipsync/jobs now returns <1s instead of blocking 200s+ - Rewrite musetalk_server.py: MuseTalk receives full audio directly (v2 architecture) — no pre-looping video before inference Output video length = audio length, mux is fast stream copy - Frontend polls GET /lipsync/jobs/{id} for status updates - refresh_job_status: GPU async path (processing + no mediakit_task_id) skips MediaKit polling; stale jobs (>30min) auto-marked failed - 21 unit tests pass (11 GPU integration + 10 musetalk audio mux) Co-Authored-By: Coze <coze-opensource@bytedance.com>	2026-09-20 09:43:47 +08:00
xiaoxia	b0b81a5d60	fix(1978): MuseTalk 封装强制替换为 TTS 驱动音轨 + 音频长于视频时循环画面 (#1997) ... Co-authored-by: backend-dev <dev@xiaoxiajianji.com> Co-committed-by: backend-dev <dev@xiaoxiajianji.com>	2026-09-20 02:27:44 +08:00
xiaoxia	32473485d7	fix(gpu): #1970 重写 MuseTalk 服务端 + 客户端超时取消，修复 8 项工程 bug ... 服务端新建 deploy/gpu_worker/musetalk_server.py（替代原 ~/projects/MuseTalk/worker.py）： 1. Flask app.run(threaded=True)：推理阻塞时 /health 仍可达 2. _get_video_fps 兜底：ffprobe 返回 0 或失败时 fallback 到 default_fps(25) 3. _run_ffmpeg 统一封装：subprocess.run(check=True) + timeout，失败/超时抛 RuntimeError 4. inference_lock 并发锁：多请求同时到达时第二请求立即 503 5. 推理超时控制：thread.join(timeout=inference_timeout) 默认 600s，超时返回 504 6. finally 块清理临时目录：成功/失败/超时都删除 task_dir 7. 无人脸检测兜底：_run_inference 中帧提取后校验，无帧直接抛错返回 500 8. 上传大小限制：视频 <=100MB / 音频 <=20MB，超限返回 413 9. 新增 POST /cancel 端点：终止当前推理、清理临时文件、释放锁 10. GET /health 返回 GPU 显存信息（nvidia-smi）+ 当前任务状态 客户端 deploy/gpu_worker/gpu_worker.py 配套： - _call_musetalk 超时后 POST /cancel 终止服务端僵尸推理 - _call_musetalk 返回 (ok, duration, err, retryable) 四元组 - _handle_task 仅 retryable=True 时重试，4xx/短视频等确定性失败直接上报 - 新增 _cancel_musetalk_task 辅助方法 测试：新增 15 个单测覆盖服务端全部修复点；全量 15854 passed / 28 skipped 部署提醒：用户需在 RTX2060 上 wget 新 musetalk_server.py 替换旧 worker.py 并重启服务。	2026-09-19 19:35:23 +08:00