55 Commits

Author	SHA1	Message	Date
saas-backend-bot	df99305dd6	feat(worker): celery 队列隔离 + 孤儿任务消息作废 (#1714) ... 问题：素材转码与视频生成共用 celery 默认队列、worker 单进程消费， 20+ 转码积压会把用户生成任务堵 40 分钟以上；孤儿清理把任务标 failed 后 Redis 队列消息未作废，消息被重投导致 failed→running 非法转换， worker 打印 ERROR 后继续产出半成品。 队列隔离： - 新增 packages/shared/celery_queues.py：generation/transcode/celery 三队列与 task_routes（generate_video→generation；ingest_asset/ classify_asset/duplication→transcode），apply_queue_settings() - worker 入口改双进程：generation worker 独占队列并内嵌 beat （prefetch=1, GENERATION_CONCURRENCY 默认 2），transcode worker 消费 transcode,celery（并发=总-2，最小 1），任一退出则整体终止 - compose/部署脚本/ps1 同步新增 GENERATION_CONCURRENCY 与健康检查 消息作废： - 新增 packages/shared/celery_orphan_guard.py：终态守卫 ensure_task_claimable、Redis 队列消息物理清理（JSON 信封解析， 按业务 id + celery headers.id 双匹配，未命中 rpush 保序）、 revoke_and_purge（control.revoke + 物理清队列双保险） - 入队点（生成/上传/分片/重试）send_task 后持久化 celery_task_id 到 generation_tasks/ingest_jobs（新列，067 迁移，失败仅 warning） - generate_video/ingest_asset 执行前校验 DB 状态：终态直接 discarded 不进业务逻辑；mark_processing 返回 False（非法转换）安全中止 - 孤儿/超时清理标 failed 时同时 revoke + 清队列消息 - pending 超时阈值 15→45 分钟，与 running 孤儿(20min)区分 测试：新增 22 个单测（路由表/真实 Redis 消息清理/终态守卫/ 非法转换中止/标 failed 后消息不重投/入队持久化），全量 14301 passed；067 迁移隔离 DDL 验证 upgrade/downgrade 通过。	2026-09-05 19:07:47 +08:00
xiaoxia	12f5ce9ab0	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:06 +08:00
CI Bot	25a98c33b9	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-01 13:32:22 +00:00
saas-backend-agent	827d8aafe5	feat: 素材分配顺序随机打乱 + MediaKit SceneChange智能选帧 ... 1. 素材分配顺序随机打乱 - segments 处理顺序通过 random.shuffle 随机化 - clips_data 最终按原始 segment order 排序返回 - 打乱的是分配顺序，不影响播放顺序 2. MediaKit SceneChange 智能选帧 - mediakit_client.py 新增 detect_scene_changes 方法 - SceneChange 优先，失败降级到 TimeInterval（5秒间隔） - 后台任务 _update_mediakit_recommendations_async 改用 SceneChange - 各片段优先从不同镜头段选取起始时间 - analyze_videos 保留为 fallback - 所有降级路径：MediaKit不可用/SceneChange失败 → 保持随机start_time 3. 测试 - 新增 tests/unit/test_scene_change_shuffle.py (12个测试用例) - 更新 test_editor_clips_random_start.py 适配 shuffle 逻辑 - 全部 108 个相关测试通过 - ruff check 通过	2026-09-01 21:16:51 +08:00
xiaoxia	d4c8064cdc	fix(fonts): FONT_NAME_MAP改为Noto Sans SC适配容器实际字体 (#1514)	2026-08-27 00:35:48 +08:00
xiaoxia	4de4b8dc08	fix(cover): E2兜底封面标题样式透传color/position/font_size (#1467)	2026-08-23 14:57:05 +08:00
CI Bot	f6b50b49ec	fix(cover): worker local ffmpeg cover frames + title overlay for source-asset fallback ... 问题： 1. 之前 Worker 用 MediaKit 网络抽帧写 cover_url，因状态字符串 bug（#1461 已修） 一直失败；且在 API 请求内同步抽帧易超时。 2. 封面从源素材抽取时无标题（源素材未烧录标题）。 修复： 1. Worker 渲染完成后直接复用 RenderAdapter 已用本地 ffmpeg 抽出的 cover_candidates： - _render_video 返回值改为 (output_path, render_duration, cover_candidates) - 第一帧写入 gen_task.cover_url，完整列表写入 metadata.cover_candidates - 删除步骤 4.5 的 MediaKit 抽帧代码（不依赖网络，不阻塞） 2. 标题叠加： - 新增 packages/shared/title_overlay.py，Pillow 绘制白色文字+黑色描边/阴影， 支持 CJK 字体和自动换行（API/Worker 共用） - thumbnail_generator.extract_and_upload_cover_frames 的 title_text 参数真正生效 - render_adapter 从已渲染视频抽帧时传空 title_text（标题已 ASS 烧录，避免重影） - 封面 API E2 从源素材抽帧后，从 plan.config.title.text 读取标题并叠加 3. API 基础镜像增加 Pillow 和 fonts-noto-cjk（E2 标题叠加依赖） 测试：新增 test_title_overlay.py（5）、E2 标题透传测试，更新 1294 解包； 相关 51 passed。	2026-08-23 10:28:52 +08:00
CI Bot	39683bda09	fix(mediakit): accept "completed" status in extract_frames polling ... 火山引擎 MediaKit 抽帧 API 完成时返回 status="completed"， 但 _poll_task_result_with_error 只判断 "success"， 导致任务实际已成功返回帧数据，客户端却继续轮询到超时返回 None， 封面抽帧一直失败。 与同文件 _poll_video_understand_result_with_error 的判断保持一致。 Worker 渲染后抽帧和 API E1/E2 兜底均受此 bug 影响。	2026-08-23 00:51:18 +08:00
xiaoxia	0301370dd8	refactor: 统一封面生成管道 — 从渲染后视频抽帧作为封面 (#1371) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-14 22:16:00 +08:00
xiaoxia	21e84c71c4	perf: render-time cover frame pre-extraction + FFmpeg fallback, remove MediaKit (#1360) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-13 20:51:02 +08:00
xiaoxia	68fa7fd163	fix(cover): 修复 OSS 路径双斜杠导致 MediaKit 404 (#1357) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-13 17:51:00 +08:00
xiaoxia	7ba46cb9c0	fix(cover): 封面生成前校验视频URL可达性，避免MediaKit超时120秒 (#1356) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-13 15:36:00 +08:00
xiaoxia	cd6fde790a	perf(#1341): 封面生成改用 TimeInterval 策略（避免 OOM，提高稳定性） (#1351) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-13 00:36:00 +08:00
xiaoxia	7b9e803603	fix(#1341): 增强封面生成错误日志和前端提示 + ESLint 修复 + prettier 格式化 (#1347)	2026-08-12 22:28:38 +08:00
CI Bot	6c14170b94	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-11 10:26:49 +00:00
CI Bot	3d5438a3af	fix: cover generation full-chain fix — bare URL, remove stub fallback, clean dead code ... - cover.py: use get_url() (bare URL) instead of get_download_url() (signed URL) to avoid OSS sign_url encoding / as %2F causing 403 - ai_service.py: remove SVG stub fallback in _call_ai_cover_service(), raise RuntimeError with clear error message instead - cover.py: wrap run_generate_cover() in try/except RuntimeError → HTTPException - schemas.py: remove unused CoverGenerateResponse class - Note: rendered/* OSS public read must be configured for bare URL to work	2026-08-11 18:22:23 +08:00
CI Bot	7b534c950b	fix(cover): increase MediaKit timeout + use public URL + extend frontend timeout ... Three fixes for cover generation: 1. cover.py: get_download_url -> get_url for video URL (OSS public read) 2. ai_service.py: extract_frames poll_interval=3.0, max_poll_attempts=60 (180s) 3. aiFeatures.ts: generateCover axios timeout 10s -> 180s	2026-08-11 16:09:07 +08:00
CI Bot	ebd67c1b7d	fix: 封面URL回退为裸URL，OSS已开公开读 ... OSS桶 xiaoxia-autocut 已对 covers/ 路径开放公开读权限， 封面URL不再需要签名，回退 storage.get_url(cover_key)。 revert 3e14a0d4	2026-08-11 13:33:36 +08:00
CI Bot	3e14a0d462	fix: 封面URL改用签名URL，OSS桶非公开读 ... storage.get_url() 只拼接裸URL，浏览器无法访问。 改用 storage.get_download_url(cover_key, expires_seconds=86400) 生成24小时有效的签名URL。	2026-08-11 13:10:28 +08:00
CI Bot	cfea86e25a	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-11 03:55:19 +00:00
CI Bot	759a7e0508	fix: 封面预览 broken image — MediaKit帧图转存OSS返回公开URL ... 根因：MediaKit extract_frames 返回的 image_url 是内部临时 URL， 浏览器无法直接访问，导致封面预览显示 broken image。 修复：新增 _transfer_cover_frame_to_storage()，在 MediaKit 抽帧 成功后下载帧图并重新上传到 OSS，返回公开可访问的 URL。 失败时降级返回原始 URL（不影响流程）。 78个相关单测全部通过。	2026-08-11 11:50:10 +08:00
CI Bot	b155db260a	fix: 封面生成 stub 返回 SVG data URI 占位图替代不存在的 placeholder API ... 根因：_call_ai_cover_service 降级到 stub 时，image_url 返回 /api/v1/assets/placeholder/cover?plan={plan_id}，该端点不存在， 浏览器 404 加载失败，显示 broken image。 修复： - manual 模式和 AI stub 模式的 image_url 改为 SVG data URI 占位图（1080x1920，深色背景 + 提示文字），前端可直接渲染 - 不依赖任何后端端点，无需网络请求	2026-08-10 15:57:07 +08:00
xiaoxia	3e24f8de4a	fix: MediaKit 重试逻辑 + TimeInterval默认策略 + 错误日志增强 (#1227)	2026-08-03 13:51:27 +08:00
xiaoxia	82bc193693	feat: #1209 AI智能选片段接入MediaKit视频理解 ... - MediaKitClient 新增 analyze_videos() 方法，调用视频理解智能策略 API - _call_ai_recommend_service 支持 asset_analyses 参数，将视频内容分析注入 prompt - API 路由层自动获取素材 URL 并调用 MediaKit 分析视频内容 - LLM 可根据视频实际内容做智能编排（叙事连贯、场景匹配等） - 降级策略：MediaKit 不可用时保持原有 fallback 行为 - 15 个新单元测试全部通过	2026-08-03 09:43:34 +08:00
xiaoxia	92b29de511	feat: #1208 AI封面接入MediaKit视频截帧 (#1214)	2026-08-02 01:14:02 +08:00
xiaoxia	76fdab4f63	fix(ci): 修复develop分支CI核心链路失败（Code Quality + Unit Tests + Frontend） (#1129)	2026-07-29 12:12:37 +08:00
CI Bot	4c31026f81	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-07-29 02:18:43 +00:00
xiaoxia	d727220562	fix: 修复 url_security 测试中 _is_trusted_domain 和 _check_ssrf_ip 的 mock 兼容性 ... - _is_trusted_domain 改为 wrapper 函数，自动使用模块级 TRUSTED_DOMAINS - validate_url_safety 对 IP 地址显式调用本地 _check_ssrf_ip 别名， 使测试 mock 能正确拦截 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-28 16:31:50 +08:00
xiaoxia	0ce9a22b91	fix: 补全 shared/worker 层对 domain 常量的 re-export ... domain 层重构后，部分常量未从 shared/worker 层 re-export， 导致 10 个测试模块因 ImportError 无法收集。 修复： - packages/shared/url_security.py: 补全 ALLOWED_AUDIO_MIME_TYPES, ALLOWED_IMAGE_MIME_TYPES, MAX_URL_LENGTH 的 re-export， 以及 _check_internal_hostnames, _check_ssrf_ip, _is_trusted_domain 私有别名 - apps/worker/video_processing/speed_engine.py: 补全 MAX_SPEED, MIN_SPEED 的 re-export Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-28 16:29:14 +08:00
xiaoxia	39187a0660	fix: 修复 20 个 ruff lint 错误，解除所有 PR CI 阻塞 ... F401 (14): 移除未使用的 import - multi_track_mixer_pure.py: Any, Optional, math - pip_engine_pure.py: Any - speed_engine.py: Optional, MAX_SPEED, MIN_SPEED - url_security.py: ALLOWED_AUDIO_MIME_TYPES, ALLOWED_IMAGE_MIME_TYPES, ALLOWED_VIDEO_MIME_TYPES, MAGIC_NUMBERS, MAX_URL_LENGTH, check_internal_hostname, is_trusted_domain E741 (3): 重命名模糊变量 l → layer - pip_engine_pure.py: lambda 参数 - test_pip_engine_pure.py: 两处列表推导 B017 (2): pytest.raises(Exception) → FrozenInstanceError - test_video_filter_builder.py - test_transition_presets.py B905 (1): zip() 补充 strict=True - pip_engine_pure.py	2026-07-28 16:03:01 +08:00
CI Bot	9eca947f88	style: auto-format with black + isort + prettier	2026-07-27 13:33:18 +00:00
xiaoxia	06716a0678	test(wave128): url_security纯逻辑抽离 + 110单测 (#1031)	2026-07-27 20:20:53 +08:00
xiaoxia	30457629da	fix(ci): fix preview deploy frontend build - remove DooD, use direct runner (#919)	2026-07-26 12:58:22 +08:00
xiaoxia	3ae15eb4fc	refactor(#778): 统一Storage接口，定义StoragePort+SharedStorageService作为唯一入口 (#794)	2026-07-24 19:00:13 +08:00
CI Bot	f21d981585	style: auto-format with black + isort + prettier	2026-07-23 15:57:09 +00:00
xiaoxia	ed21ee11d2	refactor(#776): 统一配置入口，建立packages/config消除重复定义 (#791)	2026-07-23 23:55:01 +08:00
CI Bot	a2bddf726e	style: auto-format with black + isort + prettier	2026-07-23 15:05:23 +00:00
xiaoxia	389d1e4401	refactor(#775): 禁止API直接调用Worker任务函数，必须走Celery队列或shared层 (#786)	2026-07-23 22:34:51 +08:00
xiaoxia	956d90c5c2	refactor(#774): 统一配置管理，消除重复定义和默认值不一致	2026-07-23 22:17:50 +08:00
CI Bot	545293fe5c	feat(#674): 豆包大模型 Phase 3 - AI推荐片段编排 + 客户端抽共享层 ... - 豆包客户端抽 packages/shared/ai_client.py，API和Worker共用 - 配置移到 SharedSettings，两边统一读取 - Worker AI推荐接入豆包大模型，替换原stub - 智能编排：intro/showcase/outro 三段式结构 + 转场分配 - 降级机制：无Key/调用失败/解析失败均回退本地规则 - 响应解析：格式校验+字段兜底+非法asset过滤+order排序重编号 - 新增22个worker AI单测 + 调整41个API单测mock - 累计63个AI单测全部通过	2026-07-23 14:05:15 +08:00
xiaoxia	40cb1ab8f3	fix(P0): 成片库download_url签名修复 + 删除接口补齐 (#531) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-18 18:23:01 +08:00
xiaoxia	09d2b12ea8	feat(ci): P1-1 Phase2 后端启用F401+F841并修复存量 (#470) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-17 14:06:50 +08:00
xiaoxia	531aacb57e	fix(code-quality): 第二批 - B904 raise-without-from 批量修复 (71个) (#353)	2026-07-15 11:51:45 +08:00
xiaoxia	fe2ab121e7	fix(security): 后端安全技术债务第二轮（P1+P2+P2） (#332) ... fix(security): 后端安全技术债务第二轮（P1+P2+P2） - audio_merger裸subprocess下沉 + ffmpeg_utils架构下沉到packages/shared - _verify_url_accessible重定向每跳SSRF校验 - url_security下载文件魔数校验 - 新增33个单测	2026-07-15 00:12:04 +08:00
xiaoxia	7e172c0907	fix: PR#312安全债务 4个P1修复（路径安全+数量上限） (#322)	2026-07-14 17:43:57 +08:00
CI Bot	a3967c6829	Phase 4 Backend P0 cleanup ... 1. Remove unused aiosmtplib dependency from requirements.txt 2. Remove 5 unused config items (API_PREFIX, REDIS_MAX_CONNECTION, JWT_SECRET_KEY_OLD, SECRET_ROTATION_DAYS, LOG_LEVEL) from config.py, .env.production.example, and init_production_env.sh. Kept ENABLE_REDIS_SESSIONS (actively used in dependencies.py). 3. Fix project permission check TODOs in test_error_scenarios.py — permissions are implemented, updated assertions to expect 403. 4. Merge two Storage implementations into shared package: - packages/shared/storage.py: merged API features (HTTPS endpoint fix, diagnose(), detailed logging) into SharedStorageService - apps/api/app/core/storage.py: thin re-export wrapper for backward compatibility - Updated test mocks to target packages.shared.storage	2026-07-13 17:45:37 +08:00
CI Bot	0634fc4833	fix: 修复 OSS_ENDPOINT 拼写错误 aliiyuncs → aliyun ... OSS_ENDPOINT 默认值中的域名拼写错误： - 错误：oss-cn-hangzhou.aliiyuncs.com（多了一个 i） - 正确：oss-cn-hangzhou.aliyuncs.com 同步修复： - apps/api/app/config.py - packages/shared/config.py - tests/unit/test_config_oss.py	2026-07-13 15:10:43 +08:00
xiaoxia	6657b0fe19	fix: CosyVoice默认模型改为v3-flash + 音色名加_v3后缀，修复418错误 (#215)	2026-07-11 08:47:10 +08:00
xiaoxia	a25e0b6220	fix: CosyVoice 音色名 v3 后缀修复（418错误） (#213)	2026-07-11 01:28:32 +08:00
xiaoxia	3db13fc1da	fix: CosyVoice全量重写 - 适配DashScope百炼API (#212)	2026-07-10 22:52:21 +08:00