694 Commits

Author	SHA1	Message	Date
xiaoxia	e4723bfb1b	perf(gpu): mezzanine relay直传跳过公网OSS(-18s), preset veryfast(-38%), 修复CI staging IP (#2063) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-27 14:48:54 +08:00
saas-backend-agent	105ab54059	feat(gpu): 接入 P4000 NVENC 硬件编码加速 ... - packages/config/base.py: 新增 GPU_ENCODE_* 配置项（开关/endpoint/relay/secret/编码参数/fallback） - packages/shared/gpu_encoder.py: 新增 GpuEncoderClient，封装 health 探测 + mezzanine 上传 OSS + P4000 nvenc 编码 + relay 回传下载，失败抛 GpuEncodeError 触发 CPU 降级 - apps/api/app/api/routes/gpu_relay.py: 新增 internal PUT/GET/DELETE /api/v1/internal/gpu-relay/{key}（token 鉴权），P4000 PUT 编码结果，worker GET 下载 - apps/api/app/api/router.py: 注册 gpu_relay_router - apps/worker/video_processing/unified_render_service.py: _execute_ffmpeg 和 _render_pass_through 尝试 GPU 路径：CPU ultrafast mezzanine → P4000 nvenc → 输出到最终路径；任何失败自动回退到原 CPU libx264 路径 - apps/worker/worker_app/tasks/_startup.py: worker_ready 时探测 P4000 健康并打日志 - tests/unit/test_gpu_encoder.py: GpuEncoderClient 单测（health/sync 调用/失败/fallback/relay URL） 架构： - 输入：CPU 输出 libx264 ultrafast mezzanine → 上传 OSS 临时前缀 → P4000 签名 URL 下载 - 输出：P4000 PUT → 宿主机 nginx（tailscale:80）→ API /api/ 反代 → gpu_relay 路由落盘到 generated/gpu_relay/ - 回传：worker 通过 docker 网络 http://xiaoxia-api-staging:8000 GET 下载最终 mp4 到 output_path - 降级：GPU 任何环节异常（health/上传/编码/回传/下载）→ 原 CPU 路径继续执行，不影响成片	2026-09-26 20:43:21 +08:00
xiaoxia	751f8ad84e	feat(#2035): 语义标签增强 + 质量评分自动计算 + atom_clip caption/embedding (#2036) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-25 12:44:37 +08:00
xiaoxia	1be658f72d	#2034 fix: dedup_enabled 关开关时彻底关闭视觉/像素扰动 (#2034) ... #2034 fix: dedup_enabled 开关同时控制批量变体的 visual/pixel 扰动 - unified_render_service._get_visual_perturbation() 开头加 dedup_enabled 守门 - edit_plan_service._build_variant_config_update 读取源 plan.dedup_enabled，关开关时不注入 visual_perturbation 和 pixel_perturbation - 保留节奏模板洗牌和 BGM 池差异化（合理多变体差异，不属于降重扰动） - 同步修复提交时尾部误写入的 SHA 行（语法修复）	2026-09-25 09:50:44 +08:00
xiaoxia	9039fcaea9	fix(api): 加 editor/drafts、editor/clips/from-assets、api/health 路径别名，修复前端 404 导致的 10s 超时 (#2033) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-25 01:27:20 +08:00
xiaoxia	dd16f8f783	fix(generation): #2028 awaiting_cover 预览 + from-assets 容错 (#2029) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-24 18:02:30 +08:00
xiaoxia	23fe5f9822	feat(generation): #2024 视频渲染后延迟到封面确认才入库（新增 AWAITING_COVER 状态 + finalize 接口） (#2026) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-24 12:34:43 +08:00
xiaoxia	f032152eaa	fix(P0): 修复取消链路断裂，前端取消后 GPU 仍继续推理 (#2009) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-22 01:24:07 +08:00
xiaoxia	a9f596fca3	feat(tts): style语气风格参数全链路接入 + 语速/音量/音调透传修复 (#2005) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-21 04:23:07 +08:00
xiaoxia	9ba036abb3	feat(#2001): 爆款标题样式配置面板后端支持 (#2004) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-21 03:01:24 +08:00
xiaoxia	08de0d9946	perf: async GPU lipsync inference + fix 16x performance regression ... - Move GPU wait_for_result to Celery background task (lipsync_gpu_process_async) POST /lipsync/jobs now returns <1s instead of blocking 200s+ - Rewrite musetalk_server.py: MuseTalk receives full audio directly (v2 architecture) — no pre-looping video before inference Output video length = audio length, mux is fast stream copy - Frontend polls GET /lipsync/jobs/{id} for status updates - refresh_job_status: GPU async path (processing + no mediakit_task_id) skips MediaKit polling; stale jobs (>30min) auto-marked failed - 21 unit tests pass (11 GPU integration + 10 musetalk audio mux) Co-Authored-By: Coze <coze-opensource@bytedance.com>	2026-09-20 09:43:47 +08:00
xiaoxia	d959dd874f	feat(1895): 暂停积分系统 ENABLE_CREDIT_SYSTEM=false（保留全部代码/表/接口） (#1996) ... Co-authored-by: backend-dev <dev@xiaoxiajianji.com> Co-committed-by: backend-dev <dev@xiaoxiajianji.com>	2026-09-20 01:39:02 +08:00
xiaoxia	4a449ae496	fix(1978): GPU lipsync 结果 URL 签 7 天 + 外部 TTS 音频转存自家 OSS (#1993) ... Co-authored-by: backend-dev <dev@xiaoxiajianji.com> Co-committed-by: backend-dev <dev@xiaoxiajianji.com>	2026-09-20 00:07:36 +08:00
xiaoxia	112f0eb277	feat(gpu): #1978 AI数字人口型同步接入MuseTalk GPU Worker（业务侧集成） (#1991)	2026-09-19 22:43:57 +08:00
xiaoxia	1591259bb8	fix(gpu): #1970 MuseTalk worker 推理期心跳/超时900/重试收敛/短视频前置失败 (#1990) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-19 15:06:51 +08:00
xiaoxia	6002f7a5e4	fix(gpu): result接口上报不存在task返回404而非500	2026-09-18 21:25:31 +08:00
xiaoxia	fbf8844f25	feat(gpu): #1978 MuseTalk GPU Worker 反向轮询对接（后端API + Worker脚本） (#1979) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-18 19:59:49 +08:00
xiaoxia	4fa3e4eb92	feat(#1970): 新 API 字段 + 叙事模式 PR3 - assembly_mode/script_id/tts_*/video_ratio (#1976) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-18 07:30:43 +08:00
xiaoxia	a59a6a588a	feat(#1970): 智能降重 PR2 - dedup_enabled 开关 + 6 维片段级微变换 (#1975) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-18 05:44:59 +08:00
xiaoxia	f1621ace9f	feat(#1970): 素材原子化切片 P1 - 数据层/切片逻辑/原子片段级选片 (#1974) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-18 03:57:07 +08:00
xiaoxia	3c016af076	fix(douyin): 本地ASR不可用时正确降级到desc兜底，避免502直接抛出 ... - script_asr_service.py: 捕获ImportError(apps.worker未安装)，抛ASRNotConfiguredError - scripts_ai.py B2回退路径: 504超时直接抛出，502/503 ASR/下载错误走desc兜底 - 修复API镜像未打包worker模块导致有旁白视频在MediaKit失败时直接502的问题 - 更新单元测试覆盖ASR失败→desc兜底场景	2026-09-17 23:48:22 +08:00
xiaoxia	43dfd6d425	refactor(douyin): 三层兜底方案最终版（App Feed+TikHub+apizero），移除GoDownloader，清理硬编码Key ... - 移除 P3 GoDownloader/RapidAPI（不再需要） - douyin_resolver.py: P0 App Feed(免费) → P1 TikHub → P2 apizero - API Key 全部从 os.environ 读取，无任何硬编码 - 清理 .env.example 中 RAPIDAPI_KEY 配置项 - scripts_ai.py docstring 更新 - 错误码分阶段（parse/asr/download）保留 - yt-dlp/cookies/ttwid 死代码已在前置提交删除	2026-09-17 21:51:08 +08:00
CI Bot	8fb75162d4	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 10:54:40 +00:00
xiaoxia	01f3e7d4c1	refactor(douyin): 多源轮询解析重构，删除yt-dlp/cookies死代码 ... - 新建 douyin_resolver.py: P0 App Feed API(免费) → P1 TikHub → P2 apizero → P3 GoDownloader - 删除 yt-dlp、cookies、ttwid、HTML直抓等已失效的死代码 - scripts_ai.py 大幅精简：resolver → MediaKit ASR → 本地下载ASR → desc兜底 - 图文视频/无旁白视频统一在resolver层识别并处理 - 错误信息保持分阶段（解析/下载/ASR），不暴露内部细节 - 未配置第三方API Key时P0免费源仍可正常工作 - 新增 TIKHUB_API_KEY/APIZERO_API_KEY/RAPIDAPI_KEY 环境变量 - __debug_diag 接口改为报告各源可用状态	2026-09-17 18:47:52 +08:00
CI Bot	283f48d3f3	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 10:24:48 +00:00
xiaoxia	f262b0cdd1	feat(douyin): 区分解析/下载/ASR失败阶段，返回具体错误信息	2026-09-17 18:09:12 +08:00
CI Bot	08362f556b	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 09:59:09 +00:00
xiaoxia	c2d8ebab4b	fix(douyin): ASR返回空时（无旁白视频）使用Feed desc兜底，避免503	2026-09-17 17:54:33 +08:00
CI Bot	1c9d5f81bb	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 09:18:52 +00:00
xiaoxia	62720a4c70	fix(douyin): 图文视频直接返回feed文案跳过ASR	2026-09-17 17:14:39 +08:00
CI Bot	54a3c50035	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 08:48:26 +00:00
xiaoxia	f2bc951903	fix: add A0 path using App Feed API for Douyin extraction	2026-09-17 16:39:49 +08:00
CI Bot	3c13b3837d	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 07:48:08 +00:00
xiaoxia	3a757afbd3	fix(douyin): 修复诊断端点路径避免与scripts/{id}冲突	2026-09-17 15:40:47 +08:00
xiaoxia	7f44e82a27	fix(douyin): 添加诊断端点/__debug_douyin_diag测试容器内网络+URL规范化验证	2026-09-17 15:29:04 +08:00
CI Bot	a61bda738a	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 07:25:31 +00:00
xiaoxia	da0b310102	fix(douyin): URL规范化-短链统一转为www.douyin.com/video/ID格式(修复Unsupported URL错误)	2026-09-17 15:17:00 +08:00
xiaoxia	ea4b74216f	fix(douyin): 移除伪造s_v_web_id(根因:导致yt-dlp 100%失败)+apizero优先+staging默认debug+verify=False	2026-09-17 15:06:48 +08:00
CI Bot	f8cf74f42d	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 06:57:59 +00:00
xiaoxia	fac88318bd	fix(douyin): staging环境默认开启debug详情+关键路径加详细日志定位502根因	2026-09-17 14:52:43 +08:00
CI Bot	46bce0dee8	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 06:19:31 +00:00
xiaoxia	20751428a8	fix(douyin): 合成cookies自动ttwid+h264优先+下载优化，大幅提升成功率	2026-09-17 14:14:52 +08:00
CI Bot	f655462fd6	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 05:37:48 +00:00
xiaoxia-bot	787bb0ee31	fix(douyin): 合成cookies自动获取ttwid，yt-dlp解析成功率大幅提升 ... - 通过 ttwid.bytedance.com/ttwid/union/register/ 接口自动获取 ttwid cookie（无需浏览器） - 生成带随机 s_v_web_id(verify_+22位随机串) + 真实ttwid的Netscape格式cookies文件 - yt-dlp 解析失败时自动重试10次（每次生成新s_v_web_id，每3次刷新ttwid） - 本地实测约30%单次成功率，10次重试≈97%成功率 - yt-dlp下载兜底路径同样使用8次合成cookies重试 - 修复Netscape cookies文件格式（7个tab分隔字段） - 修复代码中残留的重复return语句 - _fetch_ttwid优先走字节跳动注册接口，回退到主页访问 - 移除旧的函数残留代码	2026-09-17 13:32:32 +08:00
CI Bot	7a2d235685	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 04:50:04 +00:00
xiaoxia-bot	78c7fcca5c	fix(douyin): 增强解析鲁棒性——重试、APIKey支持、HTML兜底 ... - 第三方解析API增加3次自动重试+退避，应对瞬时限流（apizero免费额度波动） - 支持环境变量 APIZERO_API_KEY 配置apizero付费key - 兼容多种解析API响应结构（code=0/200/success:true） - 质量优先级选最优（原画>1080p>720p） - 新增HTML直抓兜底（iesdouyin分享页正则匹配CDN链接） - 主流程增加2轮完整链路重试，502/503/504时自动重试 - 优化日志记录	2026-09-17 12:44:47 +08:00
CI Bot	14b9a9d0fc	style: auto-format with black + isort + ruff + prettier [skip ci-format-check]	2026-09-17 03:26:56 +00:00
saas-backend-agent	132ca6bb70	fix(douyin): 修复抖音真实链接503，增加第三方解析API兜底 ... 根因： - yt-dlp DouyinIE 当前需要 fresh cookies（即使只提取元信息）， staging 上的 douyin_cookies.txt 是占位文件（3行），导致直链拿不到 - 原代码路径A（MediaKit ASR）因 direct_url=None 完全跳过 - 路径B（下载+本地ASR）同样因 cookies 失败返回友好 503 修复： 1. 修复 MediaKitClient monkey-patch 属性名错误 （原用 self.base_url/self.api_key/self.timeout，实际是 self._base_url 等私有属性； 错误添加了 _mk_headers 与类自带 _headers() 重复） 2. yt-dlp 增加 extractor_args 和 Accept-Language header 3. 新增第三方无水印解析 API 兜底（apizero.cn）， yt-dlp 失败时自动切换，拿到直链后仍走 MediaKit ASR 4. 路径B 支持直接用第三方直链下载 MP4（不依赖 yt-dlp/cookies） 5. MediaKit ASR 轮询增加瞬时网络错误重试 6. 全部路径失败时返回友好 503（不再返回空 text 导致前端异常） 验证：本地通过 apizero 成功解析 https://v.douyin.com/hb-giW8cC1Q/ 返回直链可下载（23MB mp4），HTTP 200	2026-09-17 11:22:01 +08:00
xiaoxia-agent	c7a34fb297	fix(douyin): 支持分享文本自动提取URL + MediaKit ASR 云端转写 ... P1 修复： 1. 抖音链接提取：后端自动从分享文本（如"这个视频 https://v.douyin.com/xxx/ 快来看看"） 中正则提取 http(s) URL，不再要求用户只粘贴纯链接； 裸域名（v.douyin.com/xxx）自动补 https://；ftp/file 等非 http(s) 协议拒绝。 2. 抖音文案提取换方案：优先走火山引擎 MediaKit asr-subtitles API（云端 ASR）， 利用 yt-dlp 解析无水印直链（不下载整段视频）→ 提交 MediaKit → 轮询拿字幕； MediaKit 未配置/失败时回退到原"下载视频+本地 ASR"路径；cookies 503 友好错误保留。 3. 文案库 P1-1 排查结论：后端 GET /api/v1/scripts CRUD 正常，scripts 表结构/数据 在 070/077/078 迁移链路中无数据丢失；"数据不显示"应是前端未正确切换到新接口， 已在回复中说明。 测试：新增 13 个 URL 提取单测；原有 15576 单测全绿；ruff clean.	2026-09-17 00:43:31 +08:00
xiaoxia	115b428cb3	fix(lipsync): 修复 GET /jobs/{id} 轮询 500（naive/aware datetime 减法 TypeError） ... Postgres TIMESTAMP WITHOUT TIMEZONE 返回 naive datetime，路由层 (_now - job.updated_at).total_seconds() 抛 TypeError: can't subtract offset-naive and offset-aware datetimes，被全局异常 handler 吞为 500 INTERNAL_ERROR，前端持续轮询一直报错。 修复：比较前把 naive datetime 当作 UTC wall clock 补 tzinfo（与代码写入 default=datetime.now(UTC) 一致），补 2 个单测覆盖 naive stale/fresh 两个分支。 176 tests passed.	2026-09-16 23:24:26 +08:00