4 Commits

Author	SHA1	Message	Date
xiaoxia	54f9fe0dc1	fix(1978): MuseTalk 封装强制用 TTS 驱动音频替换音轨 + 音频长于视频时循环画面 ... 严重 bug：结果视频保留了源视频音轨（波形比对相关系数 0.9998，与 TTS 驱动音频无关），口型同步配的是原声。根因是最终 ffmpeg 封装没写 -map， 默认流选择把第一个输入（源视频/无声画面）的自带音轨带进了结果。 修复（deploy/gpu_worker/musetalk_server.py）： - 新增 _mux_video_with_audio() 统一封装：强制 -map 0:v:0 -map 1:a:0， 画面只取 MuseTalk 无声产物，音轨只取第二个输入的驱动音频，AAC 128k - 新增 _get_media_duration() 探测音视频时长 - 音频不超过视频（容差 0.25s）：-c:v copy -shortest 无损秒封装 - 音频长于视频（TTS 15s vs 视频 9s 常见）：-stream_loop -1 循环画面， h264_nvenc 硬件重编码（RTX2060），-t 精确卡到音频时长，不截短语音 - _pick_video_encoder()：MUSE_VIDEO_ENCODER=auto 探测 NVENC，不可用或 编码失败自动回退 libx264(veryfast)；preset 随编码器选择 - MUSE_ENABLE_VIDEO_LOOP（默认开）/ 请求 form enable_video_loop 单任务覆盖 - 示例推理先产出无声 visual_silent.mp4（-an）再走统一 mux，真实 MuseTalk 接入时直接把无声产物路径传给 _mux_video_with_audio - README：新增 2.2 更新部署（wget 拉新文件+systemctl 重启）、环境变量表、 工程记录 #9/#10 测试 test_1978_musetalk_audio_mux.py（10 用例）： - 命令构造：非循环 copy+map、容差边界、循环 stream_loop/NVENC/-t 无 -shortest、 关循环、NVENC 失败回退 libx264（p4→veryfast）、copy 失败抛出、编码器探测 - 真实 ffmpeg 端到端（环境无 ffmpeg 自动 skip）：源视频内置 200Hz 音轨+ 驱动音频 800Hz，过零率验证结果音轨主频 800Hz（非源轨），2s 画面+5s 音频 循环输出时长≈5s；短音频路径输出≈1s 且音轨 800Hz	2026-09-20 01:47:36 +08:00
xiaoxia	32473485d7	fix(gpu): #1970 重写 MuseTalk 服务端 + 客户端超时取消，修复 8 项工程 bug ... 服务端新建 deploy/gpu_worker/musetalk_server.py（替代原 ~/projects/MuseTalk/worker.py）： 1. Flask app.run(threaded=True)：推理阻塞时 /health 仍可达 2. _get_video_fps 兜底：ffprobe 返回 0 或失败时 fallback 到 default_fps(25) 3. _run_ffmpeg 统一封装：subprocess.run(check=True) + timeout，失败/超时抛 RuntimeError 4. inference_lock 并发锁：多请求同时到达时第二请求立即 503 5. 推理超时控制：thread.join(timeout=inference_timeout) 默认 600s，超时返回 504 6. finally 块清理临时目录：成功/失败/超时都删除 task_dir 7. 无人脸检测兜底：_run_inference 中帧提取后校验，无帧直接抛错返回 500 8. 上传大小限制：视频 <=100MB / 音频 <=20MB，超限返回 413 9. 新增 POST /cancel 端点：终止当前推理、清理临时文件、释放锁 10. GET /health 返回 GPU 显存信息（nvidia-smi）+ 当前任务状态 客户端 deploy/gpu_worker/gpu_worker.py 配套： - _call_musetalk 超时后 POST /cancel 终止服务端僵尸推理 - _call_musetalk 返回 (ok, duration, err, retryable) 四元组 - _handle_task 仅 retryable=True 时重试，4xx/短视频等确定性失败直接上报 - 新增 _cancel_musetalk_task 辅助方法 测试：新增 15 个单测覆盖服务端全部修复点；全量 15854 passed / 28 skipped 部署提醒：用户需在 RTX2060 上 wget 新 musetalk_server.py 替换旧 worker.py 并重启服务。	2026-09-19 19:35:23 +08:00
xiaoxia	1591259bb8	fix(gpu): #1970 MuseTalk worker 推理期心跳/超时900/重试收敛/短视频前置失败 (#1990) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-19 15:06:51 +08:00
xiaoxia	fbf8844f25	feat(gpu): #1978 MuseTalk GPU Worker 反向轮询对接（后端API + Worker脚本） (#1979) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-18 19:59:49 +08:00