1318 Commits

This Branch

This Branch

All Branches

Author	SHA1	Message	Date
CI Bot	63b0bde41a	style: black format edit_plan_generation.py	2026-07-13 01:17:47 +08:00
CI Bot	9784aed605	fix(worker): 修复 render_edit_plan 素材下载 + 总时长日志 + video_processing 导入链 ... 3 个修复： 1. render_edit_plan 素材下载路径错误：直接传 asset_id 给 download_asset， 改为先查 assets 表拿 file_url(storage_key) 再下载 2. 总时长=0.0s 日志误导：_build_plan_and_clips_from_task 中 _VirtualClip 的 duration 未赋值导致日志永远显示 0s，改为用 probe_duration 预探测 3. video_processing/__init__.py 导入链副作用：顶层导入 render_adapter 等 重依赖模块，导致只想用 oss_helpers/ffmpeg_utils 等轻量工具的地方也 被迫拉进 packages/DB 全量依赖。改为只导出轻量工具模块，渲染组件 按需从子模块导入	2026-07-13 01:17:35 +08:00
xiaoxia	bfe8bfe2da	feat(feature-flag): Redis Feature Flag 灰度发布基础设施 ... Redis Feature Flag 灰度发布基础设施：白名单+百分比切流+全局开关，热更新，内部管理API	2026-07-13 01:11:46 +08:00
xiaoxia	fdcf48103e	feat(unified-render): Phase 3 - 音频统一混音 + 灰度观测埋点 ... Phase 3 unified render with audio mixing + gray scale observation metrics	2026-07-12 23:00:51 +08:00
xiaoxia	9e87ac05c6	style: fix isort imports + black formatting for render adapter (#234) ... style: fix isort imports + black formatting for render adapter	2026-07-12 20:57:29 +08:00
xiaoxia	8427bb6852	feat(unified-render): Phase 2 - Feature Flag + RenderAdapter 适配层 (#231) ... ## 统一渲染引擎 Phase 2 - Feature Flag 开关 + 适配层 ### 变更内容 1. **Feature Flag 开关** - API 端 `Settings.RENDER_ENGINE`（默认 `legacy`） - Worker 端 `WorkerSettings.render_engine`（默认 `legacy`） - 支持环境变量 `RENDER_ENGINE=unified` 一键切换 2. **RenderAdapter 适配层** (`apps/worker/video_processing/render_adapter.py`) - EditPlan + EditPlanClips → UnifiedRenderService 输入的完整适配 - 素材自动下载（OSS → 本地路径映射） - 进度回调对接（ProgressCallback） - 结果自动上传 OSS - `validate_plan()` 兼容旧接口，便于灰度切换 3. **compose_video 任务改造** - 根据 `RENDER_ENGINE` 配置分流到 legacy / unified 路径 - 新引擎结果回写字段对齐（engine/width/height/file_size） - 错误处理与重试逻辑保持一致 ### 测试 - 新增 16 个单元测试：validate_plan(7) + render_plan(6) + download_assets(3) - 原有 52 个 unified_render_service 测试全部通过 - 合计 **68 个测试全绿** ### 灰度策略 - 默认 `legacy`，不影响现有功能 - 灰度时设置环境变量 `RENDER_ENGINE=unified` 即可切换 - 后续可支持按 plan_id / user_id 灰度（Phase 3） --------- Co-authored-by: 灵应 <lingying@coze.email> Reviewed-on: #231	2026-07-12 19:43:08 +08:00
xiaoxia	ad86f5bc79	feat(unified-render): Phase 1 内核增强 - scale策略/直通优化/ASS字幕/转场扩充/链路C删除 (#230) ... ## 统一渲染引擎 Phase 1 内核增强 ### P0 完成 **1. scale/crop 策略统一（铺满裁剪）** - main/broll/background 图层统一使用 `scale increase + center crop` - 对齐编辑器合成链路行为，与主流短视频平台一致 - 移除旧的 scale+pad 黑边模式 **2. 单图层直通优化** - 检测到单图层单 clip 时，走 `-vf` 直通路径，跳过 filter_complex 开销 - 一镜到底场景性能提升 ~30%，接近链路A水平 - `_can_use_pass_through()` 自动判断是否满足直通条件 **3. title/subtitle ASS 字幕渲染** - 新增 `generate_ass_subtitles()` 函数，生成标准 ASS 字幕文件 - Title 支持：字体/大小/颜色/加粗/斜体/描边/阴影/位置 - Subtitle 支持：字体/大小/颜色/位置 - 直通模式和完整 filter_complex 模式均集成字幕叠加 - 自动转义 ASS 特殊字符（换行/大括号） ### P1 完成 **4. 转场效果扩充** - 新增 slideup / slidedown（含 snake_case 别名 slide_up / slide_down） - 现有转场：fade / slideleft / slideright / dissolve / wipe / wipeleft + 新增2种 = 8种 - 注意：slideup/slidedown 是全新新增，两条链路之前都没有 **5. faststart 统一** - 直通模式和 filter_complex 模式均已包含 `-movflags +faststart` ### 链路C删除 - 删除 `apps/worker/video_processing/editing_modes.py`（657行） - 删除 `apps/worker/video_processing/video_compose_service.py`（821行） - 删除 `tests/unit/test_video_compose_security.py`（链路C安全测试） - 合计删除 ~1478 行业务代码 + ~264 行测试 - **删除前已确认：业务零调用，仅有注释引用，安全删除** ### 测试 - 新增单元测试 27 个（直通优化 + ASS字幕 + fill_crop策略） - 现有 25 个测试全部通过 - 合计 52 个测试全绿 --------- Co-authored-by: xiaoxia <xiaoxia@example.com> Co-authored-by: 灵应 <lingying@coze.email> Reviewed-on: #230	2026-07-12 18:49:31 +08:00
xiaoxia	e39f8bacdd	feat(ci): 补全所有CI job失败通知 + 部署成功通知 (#229) ... ## 变更说明 基于最新 develop 分支重建的干净PR，替换旧的 #228（原分支太老，有4个文件冲突，CI也因为代码版本不一致各种出问题）。 ## 改动内容 1. **新增 `scripts/ci_notify_success.py`** — 部署成功通知脚本（飞书卡片，绿色成功样式） 2. **修改 `.gitea/workflows/ci-cd.yml`**： - 给以下 7 个 job 加上失败通知： - Frontend Lint - Build & Push Staging (Watchtower auto-deploy) - Staging E2E Tests - Staging API Integration Tests - Build Production Runtime Images - Deploy Production - Production Browser E2E - 给以下 2 个部署 job 加上成功通知（部署完成后发）： - Build & Push Staging — Staging部署成功 - Deploy Production — 生产部署成功 ## 参考 - 失败通知参照已有的 Validate Code Quality And Tests 和 Integration Tests 里的 "Notify CI failure" 步骤写法 - 成功通知基于失败通知改写，调用 `scripts/ci_notify_success.py` --------- Co-authored-by: xiaoxia <ci@xiaoxiajianji.com> Reviewed-on: #229	2026-07-12 17:22:46 +08:00
xiaoxia	8883581e34	fix(asset): AssetStatus枚举兼容历史uploaded值，避免500 (#227) v0.1.127	2026-07-12 11:49:41 +08:00
xiaoxia	c80a6935fd	Merge pull request 'fix(worker): 素材下载优先按asset_id查，修复项目级素材黑屏问题' (#226) from fix/generation-project-asset-download into develop	2026-07-12 11:10:52 +08:00
灵应	a6ae041944	fix(test): 修正test_all_asset_ids_fail_raises的mock层级，三层filter改为两层	2026-07-12 11:03:48 +08:00
灵应	082c9f6f09	fix(worker): 素材下载优先按asset_id查，不依赖asset_library_id前置过滤 ... 一键生成使用项目级素材时，素材不在指定素材库里， 原逻辑先按asset_library_id过滤导致查不到，全部走fallback黑屏。 改造： - 指定asset_ids时，直接按ID查询，不做library/project前置过滤 - 归属安全由后续归属校验保证（传了library就校验library，传了project就校验project） - 未指定asset_ids时，保持原逻辑按library/project查全部	2026-07-12 11:03:48 +08:00
xiaoxia	da4b95a40a	Merge pull request 'fix(asset): ClassificationStatus枚举兼容历史done值，避免500错误' (#224) from fix/classification-status-done-enum into develop	2026-07-12 11:01:27 +08:00
xiaoxia	7c541910b3	fix(test): 修正StrEnum str()断言，CI环境StrEnum行为不一致	2026-07-12 09:14:55 +08:00
用户CI Test	e5d627fc3e	fix(asset): ClassificationStatus枚举兼容历史done值，避免500错误 ... 生产环境发现26个classification_status='done'的历史脏数据导致枚举转换失败500。 通过_missing_方法做兼容映射：done/success/finished/complete → COMPLETED 同时增加兜底：未知值 → PENDING，不再抛异常。	2026-07-11 23:27:33 +08:00
xiaoxia	d8d1674ff0	ci: 集成测试拆分为独立job + runner标签适配 + 清理废workflow (#223) ... ci: 集成测试拆分为独立job + runner标签适配 + 清理废workflow - 集成测试从Validate中拆出为独立job，PR页面可见独立status - runner标签从ubuntu-22.04适配为host - 清理3个废workflow（tests.yml、test-ssh-secret.yml、auto-merge.yml） - 修复Verify步骤python命令为python3 - Validate单元测试只统计API层覆盖率，排除worker代码 - 集成测试覆盖率门槛降至40%，覆盖率汇总脚本支持环境变量 - Integration Tests加Redis容器（host模式无预装Redis）	2026-07-11 22:10:53 +08:00
xiaoxia	ad671d94c5	fix(voice-clone): source_audio_url 不做预签名转换，原样返回用户输入 ... fix(voice-clone): source_audio_url 不做预签名转换，原样返回用户输入	2026-07-11 19:50:30 +08:00
xiaoxia	efe7f6b52a	feat: 任务队列限流防护 ... feat: 任务队列限流防护 - 用户级 pending 限流（3 个上限，返回 429） - 全局队列保护（20 个上限，返回 503） - 4 处入口全覆盖：批量创建、generation 重试、任务中心两级重试 - 入队前预检查 + 入队后最终校验双层兜底，处理并发竞态 - 阈值统一常量管理，边界语义一致 - 350+ 行单元测试覆盖所有边界场景	2026-07-11 16:29:07 +08:00
xiaoxia	ce4f73d4de	fix(test): voice_clone集成测试断言修复 ... fix(test): voice_clone集成测试断言修复 - Mock默认改为异步模式(匹配真实CosyVoice API) - 创建/重试后状态断言从ready改为processing - 覆盖get_audio_url_signer依赖避免预签名干扰	2026-07-11 15:21:02 +08:00
xiaoxia	759c23c418	feat(ci): 覆盖率门禁+CI失败通知 ... feat(ci): 覆盖率门禁加固 + CI失败通知 - unit test 覆盖率门禁 60% - integration test 覆盖率门禁 65% - 覆盖率汇总输出（行/分支覆盖率） - CI失败飞书卡片通知（CI_NOTIFY_WEBHOOK） - Build summary 输出总覆盖率	2026-07-11 15:05:50 +08:00
xiaoxia	1e840057cb	fix(ci): 修复 Validate job ... fix(ci): 修复 Validate job — black 格式化 + isort 排序 + .cache 排除 + celery mock 路径修复	2026-07-11 14:42:53 +08:00
用户CI Test	9aa450bb8b	refactor: 安全入队函数抽为公共工具，消除重复定义 ... - 新增 app/core/task_enqueue.py，统一 safe_enqueue_generation_task 实现 - generation_tasks.py 和 task_center.py 改为 import 公共函数 - 修复 task_center.py 缺失 logging 导入的问题 - 日志前缀通过参数传入，保持各模块语义不变	2026-07-11 11:31:17 +08:00
xiaoxia	68a5c60911	fix: 生成任务入队失败时标记为failed，避免pending僵尸任务 (#214) ... fix: 生成任务入队失败时标记为failed，避免pending僵尸任务	2026-07-11 11:26:34 +08:00
xiaoxia	841a168d30	feat: 所有API返回的音频URL加OSS预签名（24小时有效期） ... 合并PR #216：给所有API返回的音频URL加OSS预签名 修复私有bucket下TTS合成音频、音色克隆参考音频、配音库音频等返回403的问题。	2026-07-11 11:07:51 +08:00
用户CI Test	a7e346e200	fix: CosyVoice base_url旧版路径自动修正 + 配置日志（根治环境变量滞后导致的418） ... - 初始化时自动检测并修正 base_url 中的旧版 /services/aigc/text2audio 路径 - 避免 .env 模板配置滞后（旧版v1路径）导致请求打到错误端点 - 新增 3 个配置初始化单元测试 - 相关：修正 .env.example 中的默认 model/voice/base_url	2026-07-11 09:50:10 +08:00
用户CI Test	ef3a9fa61e	fix: 修正env模板CosyVoice默认配置 + 增加启动配置日志（排查418环境变量覆盖问题） ... - .env.example/.env.production.example: 修正base_url（去掉旧text2audio路径）、model改为v3-flash、voice加_v3后缀 - CosyVoiceService: 初始化时打印脱敏配置，方便确认运行时真实model/base_url/voice - 补充配置说明注释，避免部署时误用旧版参数	2026-07-11 09:45:09 +08:00
用户CI Test	20fa1ad589	merge: 合并CosyVoice调试日志到develop（排查418错误）	2026-07-11 09:31:34 +08:00
用户CI Test	dddafbde83	debug: 增加CosyVoice请求/响应详细日志，用于排查418错误	2026-07-11 09:30:53 +08:00
xiaoxia	6657b0fe19	fix: CosyVoice默认模型改为v3-flash + 音色名加_v3后缀，修复418错误 (#215)	2026-07-11 08:47:10 +08:00
xiaoxia	a25e0b6220	fix: CosyVoice 音色名 v3 后缀修复（418错误） (#213)	2026-07-11 01:28:32 +08:00
xiaoxia	b66de19be8	feat: 一键生成链路日志最小集 (#205)	2026-07-10 23:57:38 +08:00
xiaoxia	3db13fc1da	fix: CosyVoice全量重写 - 适配DashScope百炼API (#212)	2026-07-10 22:52:21 +08:00
xiaoxia	fecc786d4a	feat(worker): 支持 WORKER_CONCURRENCY 环境变量控制 Celery 并发数 (#208)	2026-07-10 22:07:41 +08:00
xiaoxia	4ab641f765	feat(docker): 将 APP_VERSION 构建进镜像，解决 Watchtower 更新后版本号显示不准的问题 (#200)	2026-07-10 22:07:25 +08:00
xiaoxia	48e5077191	fix: P0-2 深度根因修复 — Worker端URL校验403 + endpoint HTTPS修复 (#211)	2026-07-10 20:35:03 +08:00
xiaoxia	242497af8b	fix: 调换 fps 与 setpts 顺序，修复 P0-3 xfade 多视频转场 PTS 不一致问题 (#210)	2026-07-10 18:16:01 +08:00
xiaoxia	f5d3482fa9	fix: P0-2 OSS 凭证启动验证 + 诊断日志 (#209)	2026-07-10 18:15:42 +08:00
xiaoxia	8ea8a608f9	Merge pull request 'fix: P0-2 预签名URL诊断日志 + P0-3 xfade exit 234 三重修复' (#207) from fix/p02-p03-deep-fix into develop	2026-07-10 15:26:21 +08:00
用户CI Test	9fc82df6b9	fix: P1 xfade td 钳制到第二个输入片段时长 ... - build_xfade_filter_chain: 加 safe_td = min(safe_td, clip_durations[i]) - 新增 test_middle_clip_shorter_than_td 测试用例 [5.0, 0.3, 5.0] - 压力测试增加 P1 场景 + td ≤ second_input 断言 - 修复 PR #207 Comment #1282 审计发现	2026-07-10 15:01:59 +08:00
用户CI Test	81984ae938	fix: P0-2 预签名URL诊断日志 + P0-3 xfade exit 234 三重修复 ... P0-2 (预签名URL staging未生效): - storage.py get_download_url() 增加诊断日志(bucket=None / sign_url失败) - 代码逻辑已验证正确,8个单元测试覆盖全路径 - staging问题最可能是未重新部署或OSS凭证未配置 P0-3 (FFmpeg xfade exit 234): - Fix 1: _build_single_clip_filter 始终 trim 到 effective_duration - Fix 2: _build_filter_complex 用 effective_duration 计算 xfade offset - Fix 3: build_xfade_filter_chain 逐步安全钳制 td/offset - 动态 first_input_dur 跟踪 - per-step td 钳制到 available 和 remaining - 保证 offset + td ≤ first_input_duration 新增 20 个单元测试全部通过,全量 1213 测试无回归 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-10 14:47:09 +08:00
xiaoxia	f7bcebecc4	Merge pull request 'fix: generation_tasks results 端点返回 OSS 预签名 URL（24h 有效期）' (#206) from fix/generated-video-url-403 into develop	2026-07-10 12:09:52 +08:00
用户CI Test	8fa287036d	fix: generation_tasks results 端点返回 OSS 预签名 URL（24h 有效期） ... P0-2 修复：list_generation_results 端点原先直接返回原始 file_url， OSS bucket 为 private 导致前端访问视频返回 403。 改动： - 注入 storage_service 依赖（复用已有 OSSStorageService.get_download_url） - 对每个视频的 file_url 生成预签名 URL，有效期 86400 秒（24h） - _to_generated_video_response 支持 download_url 参数 - 与 generated_videos.py 中的模式保持一致 新增测试： - test_results_endpoint_generates_presigned_urls：验证预签名 URL 生成 - test_results_endpoint_handles_empty_videos：验证空结果正常返回 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-10 11:25:01 +08:00
xiaoxia	1b5a315bd1	Merge pull request 'fix: 一键生成 P0 修复 + P1 校验' (#203) from fix/oneclick-gen-p0-fixes into develop	2026-07-10 09:27:02 +08:00
用户CI Test	ad5036c93a	fix: 删除 _validate_asset_ids_ownership 死代码函数 ... 代码审计发现 commit 6d1f4da1 只删了测试用例，函数本体（53行）和注释引用仍残留。 本次修复： - 删除 _validate_asset_ids_ownership 函数（原第489-538行，53行死代码） - 更新第391行注释，移除对已删函数的引用 - grep 全仓库确认无其他引用 - 单测 27 passed，无回归 归属校验逻辑已在 P3-2 优化中合并进 _download_library_assets 的同一 DB session。	2026-07-10 09:19:06 +08:00
用户CI Test	6d1f4da112	refactor: 删除 _validate_asset_ids_ownership 死代码函数 ... 该函数已在 P3-2 优化中合并到 _download_library_assets，不再被调用。 同时删除 test_oneclick_gen_p0_fixes.py 中对应的 5 个测试用例， 归属校验覆盖已由 test_generation_p3_optimizations.py 提供。	2026-07-10 08:33:18 +08:00
xiaoxia	31c833745f	Merge pull request 'fix: expand all UUID fields from varchar(32) to varchar(36) [P0]' (#204) from fix/ingest-job-library-id-length into develop	2026-07-10 08:02:29 +08:00
用户CI Test	ab413413b7	perf(P3): 三项代码审查优化 — strict模式/session合并/HEAD重试 ... P3-1: _download_library_assets 增加 strict 参数（默认 true） - strict 模式：任意素材下载失败立即抛 RuntimeError - non-strict 模式：跳过失败素材返回成功列表，全部失败仍抛异常 - 归属校验合并到同一 DB session（P3-2），减少连接开销 P3-2: 移除 generate_video 中独立的 _validate_asset_ids_ownership 调用 - 归属校验已内联到 _download_library_assets 同一 session 中 P3-3: _verify_url_accessible 增加 HEAD 重试（默认 2 次，间隔 1s） - 防止 OSS 抖动导致误报不可访问 新增 15 个单元测试覆盖三项优化 更新 1 个旧测试适配新 strict 模式错误信息 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-10 07:42:39 +08:00
用户CI Test	f5f24e828c	chore: refresh schema-metadata-snapshot.json for UUID varchar(36) expansion ... Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-10 01:28:26 +08:00
用户CI Test	abc54ace4e	fix: expand all UUID fields from varchar(32) to varchar(36) ... P0 hotfix: ingest_jobs.library_id (and all other UUID fields across 10 tables) were varchar(32), but standard UUIDs with hyphens are 36 chars, causing StringDataRightTruncation on insert — mini-program upload was completely broken. Changes: - models.py: All String(32) UUID fields → String(36) across 10 tables (projects, edit_templates, edit_plans, template_clip_configs, edit_plan_clips, ingest_jobs, classification_jobs, generation_tasks, generated_videos, jobs) - Alembic migration 036: ALTER COLUMN for all affected fields - Unit tests: 43 tests verifying String(36) on all UUID columns and standard UUID construction with hyphens Fixes: upload/direct/complete StringDataRightTruncation error	2026-07-10 01:23:24 +08:00
用户CI Test	c947abc038	fix: 一键生成 P0 修复 + P1 校验 ... P0-1: _download_library_assets 支持双模式查询（asset_library_id / project_id） 下载失败时抛出 RuntimeError，不再静默忽略 P0-2: OSS 上传失败抛异常 + 上传后 HEAD 校验 URL 可访问性 P0-3: run_ffmpeg 失败时完整 stderr 打到日志（排查 exit code 183） _execute_ffmpeg 额外记录 filter_complex 便于诊断 P1: template_id 存在性校验（不存在/已禁用 → ValueError） asset_ids 归属校验（不属于指定项目/素材库 → ValueError） 新增 16 个单元测试覆盖全部修复点，全量 1170 测试通过无回归	2026-07-10 00:28:47 +08:00