504 Commits

Author	SHA1	Message	Date
xiaoxia	ec45d71d2c	fix: 上传素材后视频库立即显示（创建 PROCESSING 状态 Asset） (#1644) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-03 14:56:35 +08:00
xiaoxia	1d9d0f1b2f	fix(ci): correct PG credentials in temp container DATABASE_URL + fix mypy no-redef	2026-09-03 10:28:34 +08:00
xiaoxia	451edc5f25	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:21 +08:00
xiaoxia	e6ad1a7a61	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:19 +08:00
xiaoxia	845479793e	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:17 +08:00
xiaoxia	925f0d2794	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:15 +08:00
xiaoxia	47d6ad874d	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:13 +08:00
xiaoxia	051707b244	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:11 +08:00
xiaoxia	4af4157133	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:08 +08:00
xiaoxia	24e66da061	feat: SceneChange 场景检测前置到渲染前 + 场景点缓存到素材 metadata (#1622) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-02 08:40:36 +08:00
xiaoxia	2c5600cfc9	feat: 素材选取评分注入随机噪声，降低成片查重率 (#1620) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-02 01:40:34 +08:00
saas-backend-agent	827d8aafe5	feat: 素材分配顺序随机打乱 + MediaKit SceneChange智能选帧 ... 1. 素材分配顺序随机打乱 - segments 处理顺序通过 random.shuffle 随机化 - clips_data 最终按原始 segment order 排序返回 - 打乱的是分配顺序，不影响播放顺序 2. MediaKit SceneChange 智能选帧 - mediakit_client.py 新增 detect_scene_changes 方法 - SceneChange 优先，失败降级到 TimeInterval（5秒间隔） - 后台任务 _update_mediakit_recommendations_async 改用 SceneChange - 各片段优先从不同镜头段选取起始时间 - analyze_videos 保留为 fallback - 所有降级路径：MediaKit不可用/SceneChange失败 → 保持随机start_time 3. 测试 - 新增 tests/unit/test_scene_change_shuffle.py (12个测试用例) - 更新 test_editor_clips_random_start.py 适配 shuffle 逻辑 - 全部 108 个相关测试通过 - ruff check 通过	2026-09-01 21:16:51 +08:00
xiaoxia	9d5ae7a5bc	feat: 素材选取路径接入 smart_match 评分，让用过降权真正生效 (#1615) ... feat: 素材选取路径接入 smart_match 评分，让用过降权真正生效 (#1615)	2026-09-01 20:37:25 +08:00
xiaoxia	4aeb1d5b66	fix(render): 修复生成视频时长短于模板要求时长 (#1614) ... fix(render): 修复生成视频时长短于模板要求时长 (#1614)	2026-09-01 20:00:12 +08:00
xiaoxia	a0c14db33c	feat(asset-dedup): 素材去重机制6项优化 — 调参+警告+贪心分配 (#1611) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-01 17:40:34 +08:00
xiaoxia	83cb632653	fix(clips): 自建模板 from-assets 400——直接查 clip_configs 表兜底 ... 根因：_get_template_segments 中 tpl_svc.list_clip_configs() 内部调用 get_template_or_raise → 模板主体在 edit_templates 新表不存在 → ValueError 被 except 捕获 → 回退旧 template_segments 表 → 数据已迁移 至 template_clip_configs → 返回空 → 400 "模板没有片段配置"。 修复：在 except 块与旧系统回退之间新增一段直接查 template_clip_configs 表的逻辑（SQLAlchemyTemplateClipConfigRepository.list_by_template）， 绕过主表校验，片段表自带 template_id 外键即可独立查询。 三级回退链： 1. 新模板系统（主表存在）→ 原逻辑不变 2. 主表不存在 → 直接查 clip_configs 表兜住（新路径） 3. 直接查表也失败 → 回退旧 template_segments 表 4. 全部失败 → 返回空 新增 8 个单测覆盖三级回退链全部路径。	2026-09-01 07:37:00 +08:00
xiaoxia	8e962b3af2	fix(smart-match): 过滤前置+余量/高频全过滤时空结果回退保留素材 ... 根因：路由旧实现先 smart_select_assets(limit=N) 截取 Top-N，再对这 N 条 做 usable/高频过滤，过滤后不回补。排名靠前素材恰好全部被排除时返回空 items，前端回退全选（smart-match 名存实亡）；usable 过滤在 limit 之后， 被排除名额也不从排名靠后候选回补。 修复： - 余量过滤、高频排除全部前置到评分/limit 之前，在全量候选上过滤 - 余量过滤后为空（全部可切区间耗尽）→ 回退保留全部候选 - 高频排除后为空或不足 limit → 回退保留全部可用素材（与旧逻辑一致） - 高频查询异常 → 跳过排除（不变） - 更新 test_all_exhausted_returns_empty → 回退语义 - 新增 test_smart_match_fallback.py 7 用例覆盖各回退路径	2026-09-01 00:43:57 +08:00
xiaoxia	afe78fb25f	feat: 成片 duplicate_rate 百分比 + 素材高频使用自动排除 (#1573) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 16:56:52 +08:00
xiaoxia	dc816991d6	fix(assets): smart-match 响应扁平化——item 顶层直出素材字段，修复自动选素材全链路 404/422 ... P0 线上事故：前端 smartMatchAssets 按 {items: AssetItem[]} 解析， items.map(a => a.id) 直接取 id；但后端 SmartMatchItem 为 {asset: AssetResponse, score, breakdown} 包装结构，导致 id 全为 undefined → GET /assets/undefined 404 连发、POST /clips/from-assets 携带 null 422，自动模式预览无法生成、标题不显示。 修复： - SmartMatchItem 改为继承 AssetResponse 的扁平结构：id/usable/ used_duration/available_duration/used_ratio 等素材字段全部在 item 顶层，前端拿到即可用；score/breakdown 评分字段保留 - 路由用 model_dump() 解包构造，packages.domain.smart_select_assets 域层 SmartMatchResult.asset 不动，generation_tasks 内部生成链路 （[r.asset.id for r in results]）零影响 - ClipsFromAssetsRequest 加 pre validator 过滤 null/空串/空白 id； from-assets 路由层二次归一化兜底，全非法时 400 而非 422/500 测试：扁平结构 3 用例（顶层 id/无 asset 包装/余量字段可读/评分保留）、 端点 TestClient 断言更新、from-assets 容错 4 用例；相关 95 用例全过	2026-08-31 13:35:05 +08:00
xiaoxia	61295b9c25	feat(tts): 正式合成支持克隆音色 + 保存到配音库改写 assets 素材体系 + 克隆接口支持 asset_id (#1556) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 18:46:06 +08:00
xiaoxia	1f9236bb16	fix(ingest-jobs): GET /{job_id} 查不到时返回 404 而非 500 ValueError ... 之前 job 不存在抛 ValueError，被全局异常处理映射到 500，导致客户端拿不到合理的 '未找到'语义。改为 HTTPException(404)。 补 GET 路由单测：不存在→404、存在→200 + 字段完整。	2026-08-30 11:27:27 +08:00
xiaoxia	839426a2cc	fix: 素材余量四字段兼容 Asset 领域实体（真实接口恒为 None 修复） (#1550) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 08:21:00 +08:00
CI Bot	78e9463825	fix(segments): AI Review 二轮修复 — 批量无源plan索引守卫 + 区间set精度归一化 ... - [阻塞] count>1 但 source_edit_plan_id 为空时 variant_plan_ids 为空列表， 循环 task_index>0 直接索引 variant_plan_ids[task_index-1] 抛 IndexError 导致批量创建崩溃；加非空守卫，无源 plan 时各任务走自身随机选片 （新增回归测试 test_batch_no_plan_guard：还原守卫即红、修复后绿） - [建议] MediaKit 历史区间 set 去重前 round(3) 归一化浮点精度，避免 1.0 与 1.0000000001 被误判为不同区间 - [建议] smart-match 循环调用 compute_asset_availability 为纯函数 （只读 model 内存字段、无 DB 查询），无 N+1 问题，无需修改	2026-08-30 07:14:16 +08:00
CI Bot	b2a334f99b	fix(segments): AI Review 阻塞项修复 — 记录写入行级锁 + 克隆失败不降级共用 ... - record_used_segments 读取 AssetModel 加 with_for_update() 行级锁， 序列化并发事务对 classification_result 的读-改-写，杜绝区间记录丢失更新 （SQLite 下 with_for_update 为 no-op） - 批量生成：变体 plan 克隆前置到任务创建之前，全部成功才建任务（无脏数据）； 克隆含 1 次重试抗 DB 抖动，仍失败则 500 中断，不再静默退回共用源 plan - 预览生成：克隆失败标记任务 failed 并返回 500，不再退回原 plan （两条修复共同保证批量/多预览视频内容不重复的业务约束） - 测试：FakeSession 支持 with_for_update；预览相关测试 mock EditPlanService 或显式置空 source_edit_plan_id；zip 加 strict（B905）	2026-08-30 02:33:19 +08:00
CI Bot	7cb36a5c3d	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 18:16:26 +00:00
CI Bot	e33502956c	feat(segments): 片段重复率控制（受控复用+15%闸门）与素材余量四字段 ... Task G：任意两条成片画面重复率 ≤15% - MediaKit 智能选片避让历史区间：历史区间并入冲突检查、0.3s 边缘间隙、 撞历史时放弃推荐保留原起点（不再挪到已用画面） - 自动轮回改造为受控复用：历史永不自动清空；used_time_ranges 增加 use_count/last_used_at；100 次随机失败后复用 last_used_at 最老且 use_count<3 的区间；单条成片复用占比 >15% 时该素材停止分配（分配闸门 + 复用回调内预判双闸门）；全部素材超限返回 400「素材可切区间不足，请补充新素材」 - 复用回调返回 None 时 calc 直接返回 None（删除末尾/0.0 重叠降级）， from-assets 轮询内 calc 失败切换下一素材 - 批量 N 条视频片段独立：count>1 时克隆独立 plan，禁止共用 source_edit_plan_id/clips（合并 Issue #1282）；预览同样克隆独立变体 - 常量：REUSE_RATIO_LIMIT=0.15 / SEGMENT_EDGE_GAP=0.3 / MAX_RANGE_USE_COUNT=3 Task H：素材余量透出与已用尽素材排除 - GET /assets 列表与详情响应附加 used_duration/available_duration/ used_ratio/usable 四字段（非视频/无时长/异常时 None + usable=True，零影响） - usable=false：零重复可切区间已耗尽（扩边后无 ≥3s 空闲段）且所有历史 区间 use_count 均达上限 - smart-match 结果层过滤 usable=false 素材（评分逻辑不动） - from-assets 对已用尽素材天然兜底：calc 返回 None → 轮询跳过 → 全部素材用尽时 400 测试：新增 test_mediakit_conflicts(10)/test_clone_plan_variant(7)/ test_asset_availability(23)，更新 tracker/clips/mediakit 既有用例； 全量 unit 13910 passed	2026-08-30 02:10:06 +08:00
CI Bot	1b83ec9952	fix: AI Code Review 阻塞问题修复 ... 1. remove_used_segment 旧数据兼容：记录缺 plan_id（本功能上线前的旧数据）时 退化为按时间匹配删除，避免旧区间永远删不掉导致素材容量泄漏 2. MediaKit 异步更新事务一致性：clip start_time 更新与 metadata 区间记录 删旧/写新放入同一事务，metadata 失败时 rollback 本次 clip 更新， 统一 commit，消除 clip 已提交、metadata 未更新的不一致 3. (建议) on_exhausted 回调异常增加 logger.warning，不再静默吞掉 4. 补充旧数据兼容单测	2026-08-29 20:38:56 +08:00
CI Bot	5d705307c1	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 12:26:01 +00:00
CI Bot	2174e91c48	feat: 素材片段区间持久化去重 + 区间用尽自动轮回 ... - 新增 asset_segment_tracker 服务：素材 metadata(used_time_ranges) 持久化片段级已用区间 - from-assets 创建片段时读取历史区间，新片段跨任务/跨调用自动避开 - 片段记录与 replace_all_clips_transactional 同事务，失败整体回滚 - MediaKit 异步移动片段起点后同步更新 metadata 区间记录（失败静默） - _calc_random_start_time 新增 on_exhausted 回调：100次找不到时清空该素材历史区间再重试，实现轮完一圈自动循环 详见 PR body 的 metadata schema 说明	2026-08-29 20:14:28 +08:00
CI Bot	5a00f8b8fb	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 10:02:10 +00:00
CI Bot	05d75db0cf	chore: 删除素材选取 random 模式 ... - generation_tasks.py: 删除 import random、if mode==random 分支、docstring 中 random 描述 - generation_task.py schema: description 移除 random=随机选取，count 描述仅保留 smart - 选取入口条件 in ("random","smart") 改为 in ("smart",) - test_asset_select_mode.py: 删除 TestSelectAssetsRandomMode 类（3个用例） - domain/test_generation_task.py + test_wave77_generation_task.py: random→smart 不改：_calc_random_start_time（片段级随机）、smart_match.py、前端	2026-08-29 17:54:15 +08:00
xiaoxia	cf7e295f35	fix: SSRF 内网判定改用 ipaddress 标准库，覆盖全部 IPv4/IPv6 私有段 ... AI Code Review 第三轮指出：IPv6 链路本地地址使用字符串前缀匹配 （fe80/fe90/...）不严谨且易漏。 修复：新增 _is_private_or_reserved_host()，统一用标准库 ipaddress.ip_address().is_private/is_loopback/is_link_local/ is_reserved 判定，一次性准确覆盖： - IPv4: 10/8、172.16/12、192.168/16、127/8、169.254/16、0.0.0.0 - IPv6: ::1、fc00::/7(ULA)、fe80::/10(链路本地)、保留段 删除手工字符串切片逻辑，可读性和正确性都更好。 36 个测试全部通过。	2026-08-29 00:49:11 +08:00
xiaoxia	bde37af2bb	fix: SSRF 白名单加固 — 修复 endpoint 解析绕过 + 补充 IPv6 内网拦截 ... AI Code Review 第二轮指出的两个阻塞问题： 1. endpoint 主机名解析绕过：原逻辑 ep.split(':')[0] 在 endpoint 带 scheme（http://host:9000）时取到 'http'，虽白名单顺序使 public_url 先生效，但 endpoint 分支可能错误匹配 '.http' 后缀。 修复：新增 _endpoint_host() 统一用 urlparse 提取主机名， 兼容有无 scheme、带端口等各种配置形式。 2. 缺失 IPv6 内网地址校验：[::1]、fe80::/10（链路本地）、 fc00::/7（唯一本地）等 IPv6 本地地址未拦截。 修复：补充 IPv6 回环/链路本地/ULA 地址显式拒绝。 附带： - 移除函数内重复的 urlparse 导入，统一使用顶部导入 - 新增 2 个白名单单元测试（IPv4/IPv6/元数据拦截 + scheme 解析） - 共 36 个测试全部通过	2026-08-29 00:39:05 +08:00
xiaoxia	3b828ab184	fix: 封面选帧接口安全加固 — 权限校验防绕过 + video_url SSRF 白名单 ... AI Code Review 指出的两个阻塞问题： 1. 权限校验绕过（步骤0a）：原逻辑仅在关联任务存在且 created_by_user_id 非空时才校验归属；若 GeneratedVideo 的 generation_task_id 为空或关联任务被删除，校验被静默跳过。 修复： - 优先校验 GeneratedVideo.user_id 直接归属 - 关联任务存在时校验 task.created_by_user_id - video 无 owner 且关联任务也查不到（归属无法确认）→ 403， 不再静默放行 2. video_url SSRF（步骤0b）：原逻辑直接使用请求体传入的 URL， 攻击者可传入内网/云元数据地址诱导服务端请求。 修复：新增 _is_trusted_media_url() 白名单校验： - 仅允许 http/https 且主机为自家 OSS bucket/endpoint 域名 - 显式拒绝 localhost/127.*/10.*/192.168.*/169.254.*/172.16-31.* - 校验失败静默忽略该 URL，回退后续查找链 附带改进（review 建议项）： - 函数内联 import 全部移至模块顶部（storage/re） - 新增 2 个安全测试：SSRF 内网地址拦截、归属无法确认 403 - 现有 32 个测试适配新的 mock 命名空间，共 34 个测试全过	2026-08-29 00:21:49 +08:00
xiaoxia	3e71a00b12	fix: 封面选帧输入源改为最终成片，预览片段作为兼容回退 ... - GenerateCoverRequest 新增可选字段 generated_video_id / video_url， 与前端 PR #1533 契约对齐：前端在「选择封面」步骤传入确认生成产出的 最终视频 ID 或 URL，后端据此定位最终成片文件并抽帧 - 视频源查找优先级调整： 0a. 请求体 generated_video_id → GeneratedVideo.file_url 0b. 请求体 video_url → 直接使用 1. plan.config.rendered_storage_key 2. plan.config.generation_task_id 3. source_edit_plan 关联的 is_preview=False 已完成任务（最终成片优先） 4. source_edit_plan 关联的 is_preview=True 预览任务（回退） 5. user+template 最近预览任务（兜底） - cover_url 查找同步调整：优先最终成片任务的 cover_url，再回退预览 - MediaKit 的 strategy/max_frames/轮询/重试/降级逻辑全部不变 - 权限校验：通过 generated_video_id 关联的 generation_task 校验归属 - 新增 5 个单测覆盖：schema 字段、video_id 抽帧、video_url 抽帧、 最终成片优先于预览、权限校验 403	2026-08-28 23:13:18 +08:00
xiaoxia	8e89717166	fix: 素材缩略图全黑 — 签名URL + 批量修复 + 前端兜底 ... 问题根因： 1. OSS bucket 为私有，upload_to_oss 返回的公开 URL 返回 403 2. API 降级逻辑把视频 .mp4 的 signed URL 当作 thumbnail_url 返回 3. 浏览器 <img> 无法渲染 .mp4 文件，显示黑屏 修复： - ingest.py: 存储 storage_key 而非公开 URL，API 层统一签名 - assets.py: 移除 .mp4 降级，thumbnail_url 通过 get_download_url 签名 - AssetCard.tsx: 检测视频 URL 后缀 + onError 降级显示类型图标 - 新增 batch_generate_thumbnails Celery 任务，为 2587 个历史视频补生成缩略图 - 同时处理 242 条旧格式公开 URL → storage_key 迁移	2026-08-28 18:23:41 +08:00
xiaoxia	12f51d43bf	feat(from-assets): 改为异步执行MediaKit分析 (#1525) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-28 12:26:00 +08:00
CI Bot	506b29991b	fix: include clip_type in clips_data for replace_all_clips_transactional ... - Add clip_type field to clips_data dict (body.clip_type or main) - Service layer reads clip_type from clips_data instead of hardcoding - 48 tests passing	2026-08-28 01:02:04 +08:00
CI Bot	ecfa478a24	fix: guard empty asset_ids + validate clip_duration > 0 + fix old-system default ... - Add empty asset_ids check before modulo (defense-in-depth, schema also enforces min_length=1) - Add clip_duration <= 0 guard after asset_total capping - Fix old-system fallback default from 0.0 to _DEFAULT_EDITOR_CLIP_DURATION - Add test for empty asset_ids 400 - 48 tests passing	2026-08-28 00:47:21 +08:00
CI Bot	d771fee45a	fix: validate segment durations with _safe_segment_duration + upgrade fallback logs to warning ... - Add _safe_segment_duration() to handle None/invalid/negative/NaN values - Swap dur_min/dur_max if dirty data has min > max - Change fallback exception logs from DEBUG to WARNING for observability - Add 7 unit tests for _safe_segment_duration - 47 tests passing	2026-08-28 00:31:24 +08:00
CI Bot	5c62dad798	fix: atomic clip replacement via replace_all_clips_transactional + asset_total=0 guard ... - Use replace_all_clips_transactional for atomic delete+create (fixes data loss risk) - Guard asset_total <= 0 with HTTP 400 (fixes invalid clip creation) - Update tests to verify transactional replace and zero-duration guard - 40 tests passing	2026-08-28 00:20:04 +08:00
CI Bot	9510f69816	fix: rename unused loop var and add type annotation for ruff/mypy	2026-08-27 23:01:57 +08:00
CI Bot	42c4f22b21	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-27 14:55:51 +00:00
CI Bot	a2b37e376d	feat(from-assets): create clips based on template segments instead of required_clips_count ... - Query template_segments/clip_configs by template_id, create exactly N clips matching segment count - Each clip duration randomly chosen between segment duration_min and duration_max (1 decimal) - Assets round-robin assigned across segments; same asset can produce multiple clips - Delete all existing clips for the plan before creating new ones (idempotent) - MediaKit recommendation only applied to the first clip using each asset; subsequent clips use random start times - MediaKit timeout/poll settings unchanged (60s/2s/15) - mark_clips_ready called immediately after creation - Ignore required_clips_count from frontend - Clips order starts from 0 since old clips are cleared - Add _get_template_segments helper supporting both new (clip_configs) and old (template_segments) systems - 28 unit tests covering segment query, clip creation, round-robin, deletion, duration bounds, MediaKit integration	2026-08-27 22:31:40 +08:00
xiaoxia	0c216bc545	feat(editor): MediaKit智能选片接入 (#1523)	2026-08-27 16:25:09 +08:00
xiaoxia	29c0d76677	fix: cross-task segment dedup - build used_segments from existing clips (#1522)	2026-08-27 15:25:04 +08:00
xiaoxia	608e200c0c	fix: 恢复被误回退的后端文件（#1519 #1520）	2026-08-27 15:06:00 +08:00
xiaoxia	b12bb24d08	fix(ui): 模板选择预览条缩短+素材列表改为竖屏9:16卡片网格 (#1521)	2026-08-27 15:04:17 +08:00
xiaoxia	7cdd06802d	fix: ensure cover title matches current video title (#1520)	2026-08-27 14:43:42 +08:00
xiaoxia	9bd3e7e30a	fix: from-assets 创建片段后调用 mark_clips_ready 转为 ready (#1517)	2026-08-27 10:31:13 +08:00