103 Commits

Author	SHA1	Message	Date
xiaoxia	2a12532fb4	fix(worker): render_adapter分辨率读取 + ffmpeg错误捕获增强 (#479) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-17 17:31:26 +08:00
xiaoxia	09d2b12ea8	feat(ci): P1-1 Phase2 后端启用F401+F841并修复存量 (#470) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-17 14:06:50 +08:00
xiaoxia	b7a0d29b0d	P1-1: 一键生成P1级效果层补齐 - clip级转场/滤镜/片头片尾从模板映射 (#468) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-17 13:59:04 +08:00
xiaoxia	3afec86a4f	P1-1: 一键生成P0效果层补齐 - 模板配置注入(BGM/字幕/ASR) + 直通模式调速修复 (#465)	2026-07-17 13:39:39 +08:00
CI Bot	d1627d5aaf	fix: black format code quality issues	2026-07-17 12:20:53 +08:00
CI Bot	6bdab42224	P1-2: 剪辑计划统一渲染链路打通 - 收敛RenderAdapter + 补齐BGM和ASR自动字幕 ... ## 改动内容 ### 1. RenderAdapter 增强（render_adapter.py） - 新增 BGM 准备逻辑：支持 URL/素材库/预设库三种来源，失败降级不阻断 - 新增 ASR 服务初始化：自动字幕支持，初始化失败降级 - _download_assets 返回值扩展为 (asset_map, rendered_ids, failed_ids) - RenderAdapterResult 增加 rendered_clip_ids / failed_clip_ids 字段 - render_plan 调用 UnifiedRenderService 时传入 bgm_path 和 asr_service ### 2. 剪辑计划渲染收敛（edit_plan_generation.py） - _render_with_unified 从直接调 UnifiedRenderService 改为通过 RenderAdapter - 消除与 compose_video 的重复代码（素材下载+渲染+上传） - 主流程按引擎分支：unified 走 RenderAdapter，legacy 保留原逻辑 - 移除顶部不再使用的 UnifiedRenderService 直接导入 ### 3. 单元测试（test_render_adapter.py） - 修复 _download_assets 返回值变化的测试 - 新增 TestPrepareBgm：7 个用例覆盖三种来源+优先级+失败降级 - 新增 TestGetAsrService：3 个用例覆盖可用/导入失败/初始化失败 - 新增 TestRenderPlanWithBgmAsr：3 个集成用例 - 共 31 个测试全部通过 ## 三个 P0 断点修复 ✅ BGM 未接入 → RenderAdapter._prepare_bgm 自动从 plan.config.bgm 读取 ✅ ASR 自动字幕未接入 → RenderAdapter._get_asr_service 自动初始化 ✅ 代码重复 → edit_plan_generation 与 compose_video 统一走 RenderAdapter	2026-07-17 11:46:19 +08:00
xiaoxia	92855189ad	pr_title ... pr_body	2026-07-17 07:17:26 +08:00
CI Bot	e9d2831850	feat(ci): mypy upgrade to hard gate + fix type errors	2026-07-16 07:59:07 +08:00
CI Bot	73826d2f81	fix: EditPlan增加result_count字段，渲染成功后回写=1 ... - domain层EditPlan新增result_count字段（int，默认0） - ORM模型EditPlanModel新增result_count列（Integer，默认0） - repository层create/update/_model_to_entity三处同步 - 渲染成功回调与total_duration一起回写result_count=1	2026-07-15 13:28:25 +08:00
CI Bot	d99cda8bc2	fix: 剪辑计划P0+P1修复 - asset_ids传递 + result_count修正 + total_duration回写 + logs埋点 ... P0修复: - 触发生成时将plan.config.asset_ids传递到GenerationTask - 同时补全project_id字段（之前为空字符串） P1修复: - result_count: 剪辑计划多片段合成1个成片，改为1（之前误存为clip数） - total_duration: 渲染成功后回写实际输出时长到EditPlan.total_duration - logs: 新增5个关键节点日志埋点（render_start/download_done/download_failed/render_complete/render_failed） - 下载完成后进度推进到30%，便于前端展示素材下载中状态	2026-07-15 12:19:42 +08:00
xiaoxia	531aacb57e	fix(code-quality): 第二批 - B904 raise-without-from 批量修复 (71个) (#353)	2026-07-15 11:51:45 +08:00
xiaoxia	eba96fc864	feat(api): 剪辑计划生成状态API增强 - 新增progress/video_url/error_message等字段 (#351)	2026-07-15 11:15:55 +08:00
CI Bot	c6aac862b1	fix(ci): 修复PR #332合并后CI失败 - F811重复import + url_security单测魔数校验 ... - generation.py: 删除重复的shared.url_security import（保留video_processing向后兼容层） - test_url_security.py: mock数据添加ID3魔数头，适配新增的文件魔数校验	2026-07-15 00:20:36 +08:00
CI Bot	6232300fb1	fix(lint): 修复generation.py isort import排序问题	2026-07-15 00:14:18 +08:00
xiaoxia	fe2ab121e7	fix(security): 后端安全技术债务第二轮（P1+P2+P2） (#332) ... fix(security): 后端安全技术债务第二轮（P1+P2+P2） - audio_merger裸subprocess下沉 + ffmpeg_utils架构下沉到packages/shared - _verify_url_accessible重定向每跳SSRF校验 - url_security下载文件魔数校验 - 新增33个单测	2026-07-15 00:12:04 +08:00
xiaoxia	c88be032c1	fix: 渲染引擎全链路安全加固 P0+P1 (#317)	2026-07-14 18:15:21 +08:00
xiaoxia	1c8cb20373	feat(ci): P2债务清理 + Production部署门禁 ... feat(ci): P2债务清理 + Production部署门禁 - 升级PyJWT 2.9.0 -> 2.13.0，修复4个CVE - 清理5处死代码（未使用import和参数） - Production部署加健康检查门禁（API health + 登录接口 + Web前端） - deploy-production加checkout，修复通知脚本路径问题	2026-07-14 16:57:57 +08:00
xiaoxia	3cd26e98db	feat: BGM音轨混音能力（音量/淡入淡出/人声闪避/预设BGM库） (#291)	2026-07-14 10:37:24 +08:00
xiaoxia	94aead4342	feat: 任务中心升级（失败重试/错误追踪/列表筛选） (#289)	2026-07-14 09:55:53 +08:00
xiaoxia	295d7f0765	feat: 素材智能视图筛选 + 标题使用次数闭环 (#282)	2026-07-14 09:53:07 +08:00
xiaoxia	f4b4f1fc4f	feat: ASR自动字幕能力（领域模型+渲染管道接入+可扩展ASR后端） (#292) ... feat: ASR自动字幕能力	2026-07-14 09:50:57 +08:00
xiaoxia	eb4645314d	feat: 成片中心后端升级（封面生成/复核/批量下载） (#287) ... feat: 成片中心后端升级（封面生成/复核/批量下载）	2026-07-14 09:49:11 +08:00
xiaoxia	881eea9195	fix(api+ci): DELETE 204响应体全修复 + isort/black整理 + CI环境兼容 + 测试修复 (#286) ... fix(api+ci): DELETE 204响应体全修复 + isort/black整理 + CI环境兼容 + 测试修复	2026-07-14 07:07:51 +08:00
CI Bot	6fc1abf2f5	Phase 4 Backend P2 cleanup: 异常处理/类型注解/模块拆分/大函数拆分/配置项确认 ... - P2-1: 10处 except 审查改进（细化异常类型、添加日志） - P2-2: 22个路由函数类型注解补全 - P2-3: edit_plans.py 拆分为 4 个模块（CRUD/generation/ai/timeline） - P2-4: generate_video + generate_plan 大函数拆分 - P2-5: unified_render_service.py 拆分（1517→984行） - render_audio.py: 音频混音模块（RenderContext + mix/merge 函数） - render_subtitles.py: ASS 字幕生成模块 - P2-6: 6个未使用配置项删除确认 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-13 20:00:54 +08:00
CI Bot	1a57878f76	chore(backend): Phase 3 清理 — 未使用依赖删除 + pyflakes 警告清零 + 测试文件冗余清理 ... 1. 未使用依赖清理: - 从 requirements-base.txt 移除 cryptography 和 pyOpenSSL 2. pyflakes 警告清零 (apps/ + packages/ + tests/): - 移除 17 处未使用的 import (F401) - 修复 26 处未使用的局部变量 (F841): * 有副作用的赋值转为裸调用 * 无副作用的赋值直接删除 - 修复 1 处未使用的异常变量 (F841) - 修复 1 处空 except 块 3. 测试文件冗余清理: - 删除 tests/integration/test_project_management.py (模块级 skip，测试不存在的模块) - 删除 tests/integration/fixtures/duplication_routes_fixed.py (未被引用) Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-13 16:14:46 +08:00
xiaoxia	73375c6639	PR #252: redis_url配置修复 ... fix: 修复worker配置中redis_url字段未正确映射REDIS_URL环境变量 Signed-off-by: CI Bot <bot@xiaoxiajianji.com>	2026-07-13 15:17:32 +08:00
xiaoxia	c48ddeef7d	fix: black/isort 格式化修复 - generation.py 和单测文件 (#250)	2026-07-13 14:13:45 +08:00
CI Bot	1d06d2ddd2	fix: generate_video 任务接入 Feature Flag 灰度引擎选择 ... 问题：一键生成（generate_video）任务硬编码使用 UnifiedRenderService， 完全没有接入 render_engine Feature Flag，导致灰度开关形同虚设， 无法控制新旧引擎切换。 修复： 1. 新增 _resolve_render_engine(user_id) 函数，复用 RenderEngineResolver 2. 新增 _render_with_legacy_engine() 函数，实现旧引擎等价渲染 - 使用 filter_complex + concat 模式 - 保持原帧率（无 fps 归一化），与旧引擎行为一致 - 音频 192k AAC，与旧引擎一致 - 支持 one_take / pip / voice_over / voice_pip 全部模式 3. 在 generate_video 任务入口处根据 Feature Flag 选择引擎 4. 渲染日志新增 engine 字段，便于灰度观测 单测：8 个测试覆盖 flag 各场景 + legacy 渲染验证	2026-07-13 13:08:41 +08:00
xiaoxia	bbe831f9e0	feat(worker): render_edit_plan 接入 Feature Flag 灰度控制 (#240) (#240)	2026-07-13 10:27:25 +08:00
xiaoxia	bdf99bba39	fix(worker): 修复 render_edit_plan 素材下载 + 总时长日志 + video_processing 导入链 (#236)	2026-07-13 01:32:28 +08:00
xiaoxia	bfe8bfe2da	feat(feature-flag): Redis Feature Flag 灰度发布基础设施 ... Redis Feature Flag 灰度发布基础设施：白名单+百分比切流+全局开关，热更新，内部管理API	2026-07-13 01:11:46 +08:00
xiaoxia	8427bb6852	feat(unified-render): Phase 2 - Feature Flag + RenderAdapter 适配层 (#231) ... ## 统一渲染引擎 Phase 2 - Feature Flag 开关 + 适配层 ### 变更内容 1. **Feature Flag 开关** - API 端 `Settings.RENDER_ENGINE`（默认 `legacy`） - Worker 端 `WorkerSettings.render_engine`（默认 `legacy`） - 支持环境变量 `RENDER_ENGINE=unified` 一键切换 2. **RenderAdapter 适配层** (`apps/worker/video_processing/render_adapter.py`) - EditPlan + EditPlanClips → UnifiedRenderService 输入的完整适配 - 素材自动下载（OSS → 本地路径映射） - 进度回调对接（ProgressCallback） - 结果自动上传 OSS - `validate_plan()` 兼容旧接口，便于灰度切换 3. **compose_video 任务改造** - 根据 `RENDER_ENGINE` 配置分流到 legacy / unified 路径 - 新引擎结果回写字段对齐（engine/width/height/file_size） - 错误处理与重试逻辑保持一致 ### 测试 - 新增 16 个单元测试：validate_plan(7) + render_plan(6) + download_assets(3) - 原有 52 个 unified_render_service 测试全部通过 - 合计 **68 个测试全绿** ### 灰度策略 - 默认 `legacy`，不影响现有功能 - 灰度时设置环境变量 `RENDER_ENGINE=unified` 即可切换 - 后续可支持按 plan_id / user_id 灰度（Phase 3） --------- Co-authored-by: 灵应 <lingying@coze.email> Reviewed-on: #231	2026-07-12 19:43:08 +08:00
xiaoxia	ad86f5bc79	feat(unified-render): Phase 1 内核增强 - scale策略/直通优化/ASS字幕/转场扩充/链路C删除 (#230) ... ## 统一渲染引擎 Phase 1 内核增强 ### P0 完成 **1. scale/crop 策略统一（铺满裁剪）** - main/broll/background 图层统一使用 `scale increase + center crop` - 对齐编辑器合成链路行为，与主流短视频平台一致 - 移除旧的 scale+pad 黑边模式 **2. 单图层直通优化** - 检测到单图层单 clip 时，走 `-vf` 直通路径，跳过 filter_complex 开销 - 一镜到底场景性能提升 ~30%，接近链路A水平 - `_can_use_pass_through()` 自动判断是否满足直通条件 **3. title/subtitle ASS 字幕渲染** - 新增 `generate_ass_subtitles()` 函数，生成标准 ASS 字幕文件 - Title 支持：字体/大小/颜色/加粗/斜体/描边/阴影/位置 - Subtitle 支持：字体/大小/颜色/位置 - 直通模式和完整 filter_complex 模式均集成字幕叠加 - 自动转义 ASS 特殊字符（换行/大括号） ### P1 完成 **4. 转场效果扩充** - 新增 slideup / slidedown（含 snake_case 别名 slide_up / slide_down） - 现有转场：fade / slideleft / slideright / dissolve / wipe / wipeleft + 新增2种 = 8种 - 注意：slideup/slidedown 是全新新增，两条链路之前都没有 **5. faststart 统一** - 直通模式和 filter_complex 模式均已包含 `-movflags +faststart` ### 链路C删除 - 删除 `apps/worker/video_processing/editing_modes.py`（657行） - 删除 `apps/worker/video_processing/video_compose_service.py`（821行） - 删除 `tests/unit/test_video_compose_security.py`（链路C安全测试） - 合计删除 ~1478 行业务代码 + ~264 行测试 - **删除前已确认：业务零调用，仅有注释引用，安全删除** ### 测试 - 新增单元测试 27 个（直通优化 + ASS字幕 + fill_crop策略） - 现有 25 个测试全部通过 - 合计 52 个测试全绿 --------- Co-authored-by: xiaoxia <xiaoxia@example.com> Co-authored-by: 灵应 <lingying@coze.email> Reviewed-on: #230	2026-07-12 18:49:31 +08:00
灵应	082c9f6f09	fix(worker): 素材下载优先按asset_id查，不依赖asset_library_id前置过滤 ... 一键生成使用项目级素材时，素材不在指定素材库里， 原逻辑先按asset_library_id过滤导致查不到，全部走fallback黑屏。 改造： - 指定asset_ids时，直接按ID查询，不做library/project前置过滤 - 归属安全由后续归属校验保证（传了library就校验library，传了project就校验project） - 未指定asset_ids时，保持原逻辑按library/project查全部	2026-07-12 11:03:48 +08:00
xiaoxia	1e840057cb	fix(ci): 修复 Validate job ... fix(ci): 修复 Validate job — black 格式化 + isort 排序 + .cache 排除 + celery mock 路径修复	2026-07-11 14:42:53 +08:00
xiaoxia	b66de19be8	feat: 一键生成链路日志最小集 (#205)	2026-07-10 23:57:38 +08:00
xiaoxia	3db13fc1da	fix: CosyVoice全量重写 - 适配DashScope百炼API (#212)	2026-07-10 22:52:21 +08:00
xiaoxia	48e5077191	fix: P0-2 深度根因修复 — Worker端URL校验403 + endpoint HTTPS修复 (#211)	2026-07-10 20:35:03 +08:00
用户CI Test	ad5036c93a	fix: 删除 _validate_asset_ids_ownership 死代码函数 ... 代码审计发现 commit 6d1f4da1 只删了测试用例，函数本体（53行）和注释引用仍残留。 本次修复： - 删除 _validate_asset_ids_ownership 函数（原第489-538行，53行死代码） - 更新第391行注释，移除对已删函数的引用 - grep 全仓库确认无其他引用 - 单测 27 passed，无回归 归属校验逻辑已在 P3-2 优化中合并进 _download_library_assets 的同一 DB session。	2026-07-10 09:19:06 +08:00
用户CI Test	ab413413b7	perf(P3): 三项代码审查优化 — strict模式/session合并/HEAD重试 ... P3-1: _download_library_assets 增加 strict 参数（默认 true） - strict 模式：任意素材下载失败立即抛 RuntimeError - non-strict 模式：跳过失败素材返回成功列表，全部失败仍抛异常 - 归属校验合并到同一 DB session（P3-2），减少连接开销 P3-2: 移除 generate_video 中独立的 _validate_asset_ids_ownership 调用 - 归属校验已内联到 _download_library_assets 同一 session 中 P3-3: _verify_url_accessible 增加 HEAD 重试（默认 2 次，间隔 1s） - 防止 OSS 抖动导致误报不可访问 新增 15 个单元测试覆盖三项优化 更新 1 个旧测试适配新 strict 模式错误信息 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-10 07:42:39 +08:00
用户CI Test	c947abc038	fix: 一键生成 P0 修复 + P1 校验 ... P0-1: _download_library_assets 支持双模式查询（asset_library_id / project_id） 下载失败时抛出 RuntimeError，不再静默忽略 P0-2: OSS 上传失败抛异常 + 上传后 HEAD 校验 URL 可访问性 P0-3: run_ffmpeg 失败时完整 stderr 打到日志（排查 exit code 183） _execute_ffmpeg 额外记录 filter_complex 便于诊断 P1: template_id 存在性校验（不存在/已禁用 → ValueError） asset_ids 归属校验（不属于指定项目/素材库 → ValueError） 新增 16 个单元测试覆盖全部修复点，全量 1170 测试通过无回归	2026-07-10 00:28:47 +08:00
xiaoxia	4328854f58	feat: 统一渲染引擎 + 打通一键生成全链路	2026-07-09 22:59:19 +08:00
xiaoxia	5ec71f5e1e	fix(generation): 修复生成任务状态机缺失导致状态永不更新的问题 (#198)	2026-07-09 15:42:43 +08:00
灵应	6c75c3771e	fix: P0-1 生成接口加错误处理 + P0-2 Celery任务失败更新状态 ... P0-1: edit_plans.py generate 端点加 try/except，捕获异常返回明确错误信息和状态码 P0-2: worker.render_edit_plan 失败时更新 GenerationTask 状态为 failed，记录错误信息 - 新增 3 个 P0-1 单测 (TestGeneratePlanErrorHandling) - 新增 6 个 P0-2 单测 (TestRenderEditPlanFailureUpdatesGenTask) - 全部 25 个测试通过，black + isort 格式化	2026-07-07 23:03:59 +08:00
灵应	9f0c064f2a	feat: 任务4 视频查重 — 历史+批次双重去重 ... - Alembic 033: generation_tasks 加 batch_id 列+索引 - Route: count>1 时生成共享 batch_id - Repository: list_by_batch() 批次内查询 - dedup.py: check_batch_duplicate() 批次内查重 - Worker: 生成视频后创建 GeneratedVideo 记录 + 双重查重 - 单元测试: 6 个批次查重测试用例	2026-07-07 15:26:41 +08:00
灵应	1ea8fd3989	feat: P2 素材库自动匹配 - 支持 all/random/smart 三种素材选取模式 ... - Schema: 新增 asset_select_mode + asset_select_count 字段 - Domain: GenerationTask 新增 asset_select_mode 字段 - Application: Command/UseCase 透传 asset_select_mode - Route: _select_assets_from_library() 辅助函数 + 创建任务集成 - SQLAlchemy: Model/Repository 映射 asset_select_mode - Alembic: 032 号迁移 - Worker: _download_library_assets() 支持 asset_ids 过滤 - 单测: 15 个测试覆盖三种模式 + 边界情况	2026-07-07 15:13:05 +08:00
灵应	4fee87c5e8	feat: 素材重复上传检测 + 批量生成视频 ... 任务1: 素材重复上传检测 - 上传接口支持 file_hash 参数，通过 MD5+素材库ID 去重 - 命中去重直接返回已有 asset_id，不重复存 OSS - file_hash 透传: API → IngestJob → Asset 全链路 - 三条上传路径（表单/直传/分片）均支持去重 - Alembic 031: assets + ingest_jobs 加 file_hash 列+索引 - 6 个单元测试覆盖去重命中/未命中/空hash/透传 任务3: 批量生成视频 - POST /generations 支持 count 参数，一次创建多条生成任务 - 每条任务独立状态跟踪，响应返回 task_ids 列表 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-07 14:57:37 +08:00
灵应	d6ab413dcd	feat: P1 长文本分段合成 ... - 新增 text_splitter.py: 长文本智能分段（句子边界 + 短段合并） - 新增 audio_merger.py: FFmpeg concat 音频合并器 - workflow.py: 分段合成完整流程（同步合并 / 异步轮询 / 失败处理） - tts_synthesis.py: 新增 process_tts_segment_synthesis Celery 任务 - tts.py: 路由层自动识别分段任务并分发到对应 Celery task - 23 个单元测试全部通过，P0 回归测试无退化	2026-07-07 12:56:52 +08:00
灵应	48d7e01498	feat(edit-plans): AI推荐片段方案 + 封面生成接口 + config JSON schema 标准化 ... 新增接口: - POST /api/v1/edit-plans/{plan_id}/ai-recommend — AI分析素材推荐片段编排 - POST /api/v1/edit-plans/{plan_id}/generate-cover — AI智能选帧/生成封面 config 标准化: - packages/domain/config_schemas.py: cover/title/subtitle/bgm 完整 schema 定义 - normalize_plan_config() / normalize_template_config() 自动填充默认值 - edit_plans create/update 和 edit_templates create/update 均已接入标准化 AI任务: - apps/worker/worker_app/tasks/ai_tasks.py: stub实现，后续替换为真实AI服务 - Celery lazy import 已注册 run_ai_recommend / run_generate_cover 测试: 33个新用例覆盖 schema验证、AI任务、API端点、config标准化	2026-07-04 20:06:30 +08:00
灵应	3dcba4c44c	fix: 修复Bandit安全扫描硬编码临时目录问题	2026-07-03 19:48:11 +08:00