74 Commits

Author	SHA1	Message	Date
xiaoxia	2a12532fb4	fix(worker): render_adapter分辨率读取 + ffmpeg错误捕获增强 (#479) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-17 17:31:26 +08:00
xiaoxia	41e3fc7a58	fix(worker): 修复素材下载——asset_id查assets表拿file_url + 统一OSS配置读取 (#471) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-17 15:37:41 +08:00
xiaoxia	09d2b12ea8	feat(ci): P1-1 Phase2 后端启用F401+F841并修复存量 (#470) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-17 14:06:50 +08:00
xiaoxia	3afec86a4f	P1-1: 一键生成P0效果层补齐 - 模板配置注入(BGM/字幕/ASR) + 直通模式调速修复 (#465)	2026-07-17 13:39:39 +08:00
CI Bot	d1627d5aaf	fix: black format code quality issues	2026-07-17 12:20:53 +08:00
CI Bot	6bdab42224	P1-2: 剪辑计划统一渲染链路打通 - 收敛RenderAdapter + 补齐BGM和ASR自动字幕 ... ## 改动内容 ### 1. RenderAdapter 增强（render_adapter.py） - 新增 BGM 准备逻辑：支持 URL/素材库/预设库三种来源，失败降级不阻断 - 新增 ASR 服务初始化：自动字幕支持，初始化失败降级 - _download_assets 返回值扩展为 (asset_map, rendered_ids, failed_ids) - RenderAdapterResult 增加 rendered_clip_ids / failed_clip_ids 字段 - render_plan 调用 UnifiedRenderService 时传入 bgm_path 和 asr_service ### 2. 剪辑计划渲染收敛（edit_plan_generation.py） - _render_with_unified 从直接调 UnifiedRenderService 改为通过 RenderAdapter - 消除与 compose_video 的重复代码（素材下载+渲染+上传） - 主流程按引擎分支：unified 走 RenderAdapter，legacy 保留原逻辑 - 移除顶部不再使用的 UnifiedRenderService 直接导入 ### 3. 单元测试（test_render_adapter.py） - 修复 _download_assets 返回值变化的测试 - 新增 TestPrepareBgm：7 个用例覆盖三种来源+优先级+失败降级 - 新增 TestGetAsrService：3 个用例覆盖可用/导入失败/初始化失败 - 新增 TestRenderPlanWithBgmAsr：3 个集成用例 - 共 31 个测试全部通过 ## 三个 P0 断点修复 ✅ BGM 未接入 → RenderAdapter._prepare_bgm 自动从 plan.config.bgm 读取 ✅ ASR 自动字幕未接入 → RenderAdapter._get_asr_service 自动初始化 ✅ 代码重复 → edit_plan_generation 与 compose_video 统一走 RenderAdapter	2026-07-17 11:46:19 +08:00
CI Bot	7ff7ae6c7d	fix/b007-unused-loop-var 合并	2026-07-15 13:20:58 +08:00
xiaoxia	4b2f42f0be	fix(worker): 修复unified_render_service.py的black格式化问题 (#359)	2026-07-15 11:52:51 +08:00
xiaoxia	531aacb57e	fix(code-quality): 第二批 - B904 raise-without-from 批量修复 (71个) (#353)	2026-07-15 11:51:45 +08:00
CI Bot	f0a5f4fe42	fix: 硬切场景改用concat filter替代xfade，提升多素材场景性能与稳定性 ... - 全硬切(no transition)场景下使用concat filter，性能远优于xfade - 有转场效果时继续走xfade路径，保持兼容 - 修复硬切默认走xfade(fade fallback)的设计问题 - 新增单元测试覆盖concat和xfade两种路径 - 87个unified_render测试全绿，全套2147测试零回归	2026-07-15 11:18:28 +08:00
CI Bot	6cbd08f666	fix(code-quality): 第一批代码质量修复 - 零风险项 ... - 修复 ruff 配置：移除已废弃规则 W503/E704（ruff 0.14+ 不兼容） - 修复 F541 (13处)：f-string 无占位符改为普通字符串 - 修复 B017 (1处)：pytest.raises(Exception) 改为 ValidationError - 修复 vulture 死代码：trim_engine 中 if False 的三元表达式 - 修复 mypy var-annotated：SUNSET_VERSIONS 加类型标注	2026-07-15 00:51:36 +08:00
xiaoxia	fe2ab121e7	fix(security): 后端安全技术债务第二轮（P1+P2+P2） (#332) ... fix(security): 后端安全技术债务第二轮（P1+P2+P2） - audio_merger裸subprocess下沉 + ffmpeg_utils架构下沉到packages/shared - _verify_url_accessible重定向每跳SSRF校验 - url_security下载文件魔数校验 - 新增33个单测	2026-07-15 00:12:04 +08:00
xiaoxia	c88be032c1	fix: 渲染引擎全链路安全加固 P0+P1 (#317)	2026-07-14 18:15:21 +08:00
xiaoxia	7e172c0907	fix: PR#312安全债务 4个P1修复（路径安全+数量上限） (#322)	2026-07-14 17:43:57 +08:00
xiaoxia	1c8cb20373	feat(ci): P2债务清理 + Production部署门禁 ... feat(ci): P2债务清理 + Production部署门禁 - 升级PyJWT 2.9.0 -> 2.13.0，修复4个CVE - 清理5处死代码（未使用import和参数） - Production部署加健康检查门禁（API health + 登录接口 + Web前端） - deploy-production加checkout，修复通知脚本路径问题	2026-07-14 16:57:57 +08:00
xiaoxia	f268e208de	feat: 多轨道混音 + 字幕渲染引擎 + 视频拼接（后端） (#312)	2026-07-14 15:20:47 +08:00
xiaoxia	2081c72be6	feat: 视频调速引擎（快进/慢放） (#294)	2026-07-14 11:36:24 +08:00
xiaoxia	8a2d2df3cd	feat: 视频封面生成 + 视频倒放 + 贴纸叠加三个渲染能力 ... Squash merge PR #305	2026-07-14 11:05:04 +08:00
xiaoxia	ff38ee0f2b	feat: 转场特效引擎 — 14种转场预设 + TransitionEngine抽象 + 降级策略 ... Squash merge PR #293	2026-07-14 11:03:56 +08:00
xiaoxia	e9a6d19e00	feat: 绿幕抠像 + 音频降噪引擎（Chroma Key + Noise Reduction） (#303)	2026-07-14 10:52:01 +08:00
xiaoxia	241760ef39	feat: 水印 + 片头片尾引擎（视频包装能力） (#298)	2026-07-14 10:44:19 +08:00
xiaoxia	3cd26e98db	feat: BGM音轨混音能力（音量/淡入淡出/人声闪避/预设BGM库） (#291)	2026-07-14 10:37:24 +08:00
xiaoxia	c840f37a44	feat: TTS文字转语音配音引擎 (#295)	2026-07-14 10:21:49 +08:00
xiaoxia	edcd1a926f	feat: 画中画（PiP）能力 - 多图层叠加引擎 (#299)	2026-07-14 10:17:40 +08:00
xiaoxia	e430d83f78	feat: 滤镜调色引擎 - 8种预设 + 基础调色 + 分段应用 (#300) ... feat: 滤镜调色引擎 - 8种预设 + 基础调色	2026-07-14 09:51:03 +08:00
xiaoxia	f4b4f1fc4f	feat: ASR自动字幕能力（领域模型+渲染管道接入+可扩展ASR后端） (#292) ... feat: ASR自动字幕能力	2026-07-14 09:50:57 +08:00
xiaoxia	eb4645314d	feat: 成片中心后端升级（封面生成/复核/批量下载） (#287) ... feat: 成片中心后端升级（封面生成/复核/批量下载）	2026-07-14 09:49:11 +08:00
xiaoxia	881eea9195	fix(api+ci): DELETE 204响应体全修复 + isort/black整理 + CI环境兼容 + 测试修复 (#286) ... fix(api+ci): DELETE 204响应体全修复 + isort/black整理 + CI环境兼容 + 测试修复	2026-07-14 07:07:51 +08:00
CI Bot	6f0a8253f6	fix(P1-1/P1-2): processor.py 补 logger 定义 + 测试文件导入路径同步到拆分后模块 ... P1-1: processor.py 使用了 logger 但未定义，补 import logging + getLogger P1-2: test_unified_render_service.py 导入路径同步: - 音频函数 (mix_audio/merge_audio_video/clip_has_audio/RenderContext) → render_audio - 字幕函数 (_hex_to_ass_color/_position_to_ass_alignment/generate_ass_subtitles) → render_subtitles - patch.object(svc, '_mix_audio') → patch('video_processing.unified_render_service.mix_audio') - patch.object(svc, '_merge_audio_video') → patch('video_processing.unified_render_service.merge_audio_video') - probe_has_audio/run_ffmpeg patch 路径对齐到 render_audio 模块 全部 84 个测试通过。	2026-07-13 21:06:26 +08:00
CI Bot	6fc1abf2f5	Phase 4 Backend P2 cleanup: 异常处理/类型注解/模块拆分/大函数拆分/配置项确认 ... - P2-1: 10处 except 审查改进（细化异常类型、添加日志） - P2-2: 22个路由函数类型注解补全 - P2-3: edit_plans.py 拆分为 4 个模块（CRUD/generation/ai/timeline） - P2-4: generate_video + generate_plan 大函数拆分 - P2-5: unified_render_service.py 拆分（1517→984行） - render_audio.py: 音频混音模块（RenderContext + mix/merge 函数） - render_subtitles.py: ASS 字幕生成模块 - P2-6: 6个未使用配置项删除确认 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-13 20:00:54 +08:00
CI Bot	1a57878f76	chore(backend): Phase 3 清理 — 未使用依赖删除 + pyflakes 警告清零 + 测试文件冗余清理 ... 1. 未使用依赖清理: - 从 requirements-base.txt 移除 cryptography 和 pyOpenSSL 2. pyflakes 警告清零 (apps/ + packages/ + tests/): - 移除 17 处未使用的 import (F401) - 修复 26 处未使用的局部变量 (F841): * 有副作用的赋值转为裸调用 * 无副作用的赋值直接删除 - 修复 1 处未使用的异常变量 (F841) - 修复 1 处空 except 块 3. 测试文件冗余清理: - 删除 tests/integration/test_project_management.py (模块级 skip，测试不存在的模块) - 删除 tests/integration/fixtures/duplication_routes_fixed.py (未被引用) Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-13 16:14:46 +08:00
xiaoxia	1b2bccee6f	feat(worker): 直通渲染stream copy优化 - 无重编码性能提升10倍+ (#244)	2026-07-13 11:09:27 +08:00
xiaoxia	a0cac1b75d	fix(worker): FFmpeg超时保护 - 防止渲染hang住导致worker永久阻塞 (#242)	2026-07-13 11:07:10 +08:00
xiaoxia	4c5ab7f80e	fix(worker): OSS上传崩溃修复 - connect超时 + 分片上传 + 总超时保护 (#238)	2026-07-13 09:33:13 +08:00
xiaoxia	9b2e782abd	fix(worker): 修复 dedup fingerprint JSON 序列化失败 - np.float32 转原生 float (#239)	2026-07-13 08:54:58 +08:00
xiaoxia	bdf99bba39	fix(worker): 修复 render_edit_plan 素材下载 + 总时长日志 + video_processing 导入链 (#236)	2026-07-13 01:32:28 +08:00
xiaoxia	bfe8bfe2da	feat(feature-flag): Redis Feature Flag 灰度发布基础设施 ... Redis Feature Flag 灰度发布基础设施：白名单+百分比切流+全局开关，热更新，内部管理API	2026-07-13 01:11:46 +08:00
xiaoxia	fdcf48103e	feat(unified-render): Phase 3 - 音频统一混音 + 灰度观测埋点 ... Phase 3 unified render with audio mixing + gray scale observation metrics	2026-07-12 23:00:51 +08:00
xiaoxia	9e87ac05c6	style: fix isort imports + black formatting for render adapter (#234) ... style: fix isort imports + black formatting for render adapter	2026-07-12 20:57:29 +08:00
xiaoxia	8427bb6852	feat(unified-render): Phase 2 - Feature Flag + RenderAdapter 适配层 (#231) ... ## 统一渲染引擎 Phase 2 - Feature Flag 开关 + 适配层 ### 变更内容 1. **Feature Flag 开关** - API 端 `Settings.RENDER_ENGINE`（默认 `legacy`） - Worker 端 `WorkerSettings.render_engine`（默认 `legacy`） - 支持环境变量 `RENDER_ENGINE=unified` 一键切换 2. **RenderAdapter 适配层** (`apps/worker/video_processing/render_adapter.py`) - EditPlan + EditPlanClips → UnifiedRenderService 输入的完整适配 - 素材自动下载（OSS → 本地路径映射） - 进度回调对接（ProgressCallback） - 结果自动上传 OSS - `validate_plan()` 兼容旧接口，便于灰度切换 3. **compose_video 任务改造** - 根据 `RENDER_ENGINE` 配置分流到 legacy / unified 路径 - 新引擎结果回写字段对齐（engine/width/height/file_size） - 错误处理与重试逻辑保持一致 ### 测试 - 新增 16 个单元测试：validate_plan(7) + render_plan(6) + download_assets(3) - 原有 52 个 unified_render_service 测试全部通过 - 合计 **68 个测试全绿** ### 灰度策略 - 默认 `legacy`，不影响现有功能 - 灰度时设置环境变量 `RENDER_ENGINE=unified` 即可切换 - 后续可支持按 plan_id / user_id 灰度（Phase 3） --------- Co-authored-by: 灵应 <lingying@coze.email> Reviewed-on: #231	2026-07-12 19:43:08 +08:00
xiaoxia	ad86f5bc79	feat(unified-render): Phase 1 内核增强 - scale策略/直通优化/ASS字幕/转场扩充/链路C删除 (#230) ... ## 统一渲染引擎 Phase 1 内核增强 ### P0 完成 **1. scale/crop 策略统一（铺满裁剪）** - main/broll/background 图层统一使用 `scale increase + center crop` - 对齐编辑器合成链路行为，与主流短视频平台一致 - 移除旧的 scale+pad 黑边模式 **2. 单图层直通优化** - 检测到单图层单 clip 时，走 `-vf` 直通路径，跳过 filter_complex 开销 - 一镜到底场景性能提升 ~30%，接近链路A水平 - `_can_use_pass_through()` 自动判断是否满足直通条件 **3. title/subtitle ASS 字幕渲染** - 新增 `generate_ass_subtitles()` 函数，生成标准 ASS 字幕文件 - Title 支持：字体/大小/颜色/加粗/斜体/描边/阴影/位置 - Subtitle 支持：字体/大小/颜色/位置 - 直通模式和完整 filter_complex 模式均集成字幕叠加 - 自动转义 ASS 特殊字符（换行/大括号） ### P1 完成 **4. 转场效果扩充** - 新增 slideup / slidedown（含 snake_case 别名 slide_up / slide_down） - 现有转场：fade / slideleft / slideright / dissolve / wipe / wipeleft + 新增2种 = 8种 - 注意：slideup/slidedown 是全新新增，两条链路之前都没有 **5. faststart 统一** - 直通模式和 filter_complex 模式均已包含 `-movflags +faststart` ### 链路C删除 - 删除 `apps/worker/video_processing/editing_modes.py`（657行） - 删除 `apps/worker/video_processing/video_compose_service.py`（821行） - 删除 `tests/unit/test_video_compose_security.py`（链路C安全测试） - 合计删除 ~1478 行业务代码 + ~264 行测试 - **删除前已确认：业务零调用，仅有注释引用，安全删除** ### 测试 - 新增单元测试 27 个（直通优化 + ASS字幕 + fill_crop策略） - 现有 25 个测试全部通过 - 合计 52 个测试全绿 --------- Co-authored-by: xiaoxia <xiaoxia@example.com> Co-authored-by: 灵应 <lingying@coze.email> Reviewed-on: #230	2026-07-12 18:49:31 +08:00
xiaoxia	1e840057cb	fix(ci): 修复 Validate job ... fix(ci): 修复 Validate job — black 格式化 + isort 排序 + .cache 排除 + celery mock 路径修复	2026-07-11 14:42:53 +08:00
xiaoxia	48e5077191	fix: P0-2 深度根因修复 — Worker端URL校验403 + endpoint HTTPS修复 (#211)	2026-07-10 20:35:03 +08:00
xiaoxia	242497af8b	fix: 调换 fps 与 setpts 顺序，修复 P0-3 xfade 多视频转场 PTS 不一致问题 (#210)	2026-07-10 18:16:01 +08:00
用户CI Test	9fc82df6b9	fix: P1 xfade td 钳制到第二个输入片段时长 ... - build_xfade_filter_chain: 加 safe_td = min(safe_td, clip_durations[i]) - 新增 test_middle_clip_shorter_than_td 测试用例 [5.0, 0.3, 5.0] - 压力测试增加 P1 场景 + td ≤ second_input 断言 - 修复 PR #207 Comment #1282 审计发现	2026-07-10 15:01:59 +08:00
用户CI Test	81984ae938	fix: P0-2 预签名URL诊断日志 + P0-3 xfade exit 234 三重修复 ... P0-2 (预签名URL staging未生效): - storage.py get_download_url() 增加诊断日志(bucket=None / sign_url失败) - 代码逻辑已验证正确,8个单元测试覆盖全路径 - staging问题最可能是未重新部署或OSS凭证未配置 P0-3 (FFmpeg xfade exit 234): - Fix 1: _build_single_clip_filter 始终 trim 到 effective_duration - Fix 2: _build_filter_complex 用 effective_duration 计算 xfade offset - Fix 3: build_xfade_filter_chain 逐步安全钳制 td/offset - 动态 first_input_dur 跟踪 - per-step td 钳制到 available 和 remaining - 保证 offset + td ≤ first_input_duration 新增 20 个单元测试全部通过,全量 1213 测试无回归 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-10 14:47:09 +08:00
用户CI Test	c947abc038	fix: 一键生成 P0 修复 + P1 校验 ... P0-1: _download_library_assets 支持双模式查询（asset_library_id / project_id） 下载失败时抛出 RuntimeError，不再静默忽略 P0-2: OSS 上传失败抛异常 + 上传后 HEAD 校验 URL 可访问性 P0-3: run_ffmpeg 失败时完整 stderr 打到日志（排查 exit code 183） _execute_ffmpeg 额外记录 filter_complex 便于诊断 P1: template_id 存在性校验（不存在/已禁用 → ValueError） asset_ids 归属校验（不属于指定项目/素材库 → ValueError） 新增 16 个单元测试覆盖全部修复点，全量 1170 测试通过无回归	2026-07-10 00:28:47 +08:00
xiaoxia	4328854f58	feat: 统一渲染引擎 + 打通一键生成全链路	2026-07-09 22:59:19 +08:00
灵应	9f0c064f2a	feat: 任务4 视频查重 — 历史+批次双重去重 ... - Alembic 033: generation_tasks 加 batch_id 列+索引 - Route: count>1 时生成共享 batch_id - Repository: list_by_batch() 批次内查询 - dedup.py: check_batch_duplicate() 批次内查重 - Worker: 生成视频后创建 GeneratedVideo 记录 + 双重查重 - 单元测试: 6 个批次查重测试用例	2026-07-07 15:26:41 +08:00
灵应	9519216df4	fix: 全面修复CI Validate阶段所有检查失败项 ... - 修复 video_compose_service.py StrEnum Python 3.10 兼容性（添加回退实现） - 修复 test_dedup_engine.py celery mock 污染导致测试收集失败 - 修复 edit_plans.py update_plan 路由：不存在返回 404 而非 400 - 修复 edit_plans.py generate_plan/get_generation_status 路由：不存在返回 404 - 修复 edit_templates.py update_template 路由：不存在返回 404 而非 400 - 修复 upload.py 添加 image/svg+xml 到允许的 MIME 类型 - 修复 test_edit_plans_api.py StubEditPlanRepository 添加 delete_by_plan 方法 CI Validate 8 项检查全部通过：compileall/black/isort/flake8/bandit/bash-n/alembic/pytest 831 单元测试全部通过，0 失败	2026-07-03 21:06:05 +08:00