784 Commits

Author	SHA1	Message	Date
CI Bot	c08a064e55	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 23:44:35 +00:00
xiaoxia	83cb632653	fix(clips): 自建模板 from-assets 400——直接查 clip_configs 表兜底 ... 根因：_get_template_segments 中 tpl_svc.list_clip_configs() 内部调用 get_template_or_raise → 模板主体在 edit_templates 新表不存在 → ValueError 被 except 捕获 → 回退旧 template_segments 表 → 数据已迁移 至 template_clip_configs → 返回空 → 400 "模板没有片段配置"。 修复：在 except 块与旧系统回退之间新增一段直接查 template_clip_configs 表的逻辑（SQLAlchemyTemplateClipConfigRepository.list_by_template）， 绕过主表校验，片段表自带 template_id 外键即可独立查询。 三级回退链： 1. 新模板系统（主表存在）→ 原逻辑不变 2. 主表不存在 → 直接查 clip_configs 表兜住（新路径） 3. 直接查表也失败 → 回退旧 template_segments 表 4. 全部失败 → 返回空 新增 8 个单测覆盖三级回退链全部路径。	2026-09-01 07:37:00 +08:00
xiaoxia	34e8c56584	feat(title): 标题自由位置拖拽后端支持——pos_x/pos_y 注入 \\pos 定位 ... 工单 #1405 方案 B：前端支持用户在预览画面自由拖拽标题位置， 后端烧录 ASS 时按坐标定位。只动 Title，Subtitle 逻辑不变。 - title_config 新增可选字段 pos_x、pos_y（PlayRes 像素整数， PlayResX/Y = video_width/video_height） - 两字段同时存在、为 int（bool/float/字符串拒绝）、且落在 [0,video_width]×[0,video_height] 闭区间内时： - TitleStyle Alignment 固定 5（\an5 中对齐，\pos 锚点为文本块中心） - Dialogue 文本前注入 {\pos(x,y)} override tag - 字段缺失/非法/越界一律回退 position → alignment 三档逻辑， 现有 top/center/bottom 输出一字节不变 - 新增 9 个单测：合法坐标注入、边界值、无坐标回归、越界回退、 非法类型回退（含 bool/float/None/字符串）、单字段回退、 三档对齐不变、pos 覆盖 position、subtitle 不受影响	2026-09-01 01:25:25 +08:00
CI Bot	7e266d5d64	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 16:57:05 +00:00
xiaoxia	8e962b3af2	fix(smart-match): 过滤前置+余量/高频全过滤时空结果回退保留素材 ... 根因：路由旧实现先 smart_select_assets(limit=N) 截取 Top-N，再对这 N 条 做 usable/高频过滤，过滤后不回补。排名靠前素材恰好全部被排除时返回空 items，前端回退全选（smart-match 名存实亡）；usable 过滤在 limit 之后， 被排除名额也不从排名靠后候选回补。 修复： - 余量过滤、高频排除全部前置到评分/limit 之前，在全量候选上过滤 - 余量过滤后为空（全部可切区间耗尽）→ 回退保留全部候选 - 高频排除后为空或不足 limit → 回退保留全部可用素材（与旧逻辑一致） - 高频查询异常 → 跳过排除（不变） - 更新 test_all_exhausted_returns_empty → 回退语义 - 新增 test_smart_match_fallback.py 7 用例覆盖各回退路径	2026-09-01 00:43:57 +08:00
CI Bot	87cca302f4	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 13:26:58 +00:00
xiaoxia	6e76b45d34	feat: 统一模板 segments 数据源为 template_clip_configs ... - list_segments/list_by_user 优先读 clip_configs，回退 template_segments - create_segments 写入 clip_configs，material_type 存 config JSON - copy_template 复用 create_segments，使用 created.id - delete 复用 delete_segments_by_template 清理两张表 - migration 060: 方言感知(postgresql/mysql)一次性迁移历史数据 - 11 个新测试 + 120 个现有测试全部通过 Closes #1579	2026-08-31 19:58:51 +08:00
xiaoxia	afe78fb25f	feat: 成片 duplicate_rate 百分比 + 素材高频使用自动排除 (#1573) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 16:56:52 +08:00
xiaoxia	dc816991d6	fix(assets): smart-match 响应扁平化——item 顶层直出素材字段，修复自动选素材全链路 404/422 ... P0 线上事故：前端 smartMatchAssets 按 {items: AssetItem[]} 解析， items.map(a => a.id) 直接取 id；但后端 SmartMatchItem 为 {asset: AssetResponse, score, breakdown} 包装结构，导致 id 全为 undefined → GET /assets/undefined 404 连发、POST /clips/from-assets 携带 null 422，自动模式预览无法生成、标题不显示。 修复： - SmartMatchItem 改为继承 AssetResponse 的扁平结构：id/usable/ used_duration/available_duration/used_ratio 等素材字段全部在 item 顶层，前端拿到即可用；score/breakdown 评分字段保留 - 路由用 model_dump() 解包构造，packages.domain.smart_select_assets 域层 SmartMatchResult.asset 不动，generation_tasks 内部生成链路 （[r.asset.id for r in results]）零影响 - ClipsFromAssetsRequest 加 pre validator 过滤 null/空串/空白 id； from-assets 路由层二次归一化兜底，全非法时 400 而非 422/500 测试：扁平结构 3 用例（顶层 id/无 asset 包装/余量字段可读/评分保留）、 端点 TestClient 断言更新、from-assets 容错 4 用例；相关 95 用例全过	2026-08-31 13:35:05 +08:00
xiaoxia	301b591037	fix(test): 清理 sys.modules 时保留 video_processing.* 模块 ... 清理逻辑跳过 video_processing.* 前缀的模块，确保 patch() 字符串 目标解析到的模块对象与 ingest_mod 内部引用的一致，避免 mock 失效。 修复 AI Code Review 阻塞级问题。	2026-08-31 11:11:43 +08:00
xiaoxia	8d8b565499	fix(test): upload_to_oss patcher 改用字符串目标，修复 ingest.py 局部 import 不生效 ... patch.object(_oss_helpers_real, ...) 对 ingest.py 函数体内的 from video_processing.oss_helpers import upload_to_oss 不生效， 改为 patch("video_processing.oss_helpers.upload_to_oss", ...) 与 thumb patcher 策略一致，确保 patch.start() 时从 sys.modules 解析模块对象再打补丁。	2026-08-31 10:57:54 +08:00
xiaoxia	2662cd78fe	fix(test): thumb patcher 改回字符串目标 ... patch.object(_thumb_gen_real) 对 ingest.py 的局部 import 不生效 （模块对象可能不同），改回 patch(字符串目标) 从 sys.modules 取真实模块打补丁。 核心修复（不注入 video_processing mock 到 sys.modules）不变。	2026-08-31 09:23:19 +08:00
CI Bot	26856e1015	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 01:11:43 +00:00
xiaoxia	e5d7fddfcf	fix(test): hevc 转码测试不再注入 video_processing mock 到 sys.modules ... 根因：sys.modules 注入 video_processing.oss_helpers / thumbnail_generator 的 MagicMock 即使清理，仍因 video_processing/__init__.py 的 `from . import oss_helpers` 导致包属性残留为 MagicMock， 跨文件污染 test_oss_helpers_pure / test_oss_upload_crash_fix / test_p02_worker_oss_fix 等（39 个用例失败）。 修复：不再向 sys.modules 注入 video_processing.* mock，改为直接 import 真实模块后用 patch.object 打补丁（patch.stop 自动还原）。 worker_app.db / celery_app mock 保留（独立包树，不影响共享工具包）。	2026-08-31 09:04:05 +08:00
xiaoxia	d2098b03ab	fix(test): hevc 转码测试恢复 sys.modules 时删除全部 mock 条目（补 #1566 漏修） (#1567) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 02:51:01 +08:00
xiaoxia	4cf6f222ed	fix(test): test_ingest_hevc_transcode_task 模块级 mock 用后清理，修复跨文件 mock 污染 (#1566) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 01:36:01 +08:00
xiaoxia	0fde7d687c	fix(test): test_dedup_engine 不再 mock packages.shared 父包，修复 50 个 thumbnail 单测被 mock 污染 (#1563) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 00:36:06 +08:00
xiaoxia	15bc55f0ff	fix(ingest): 修复竖屏 HEVC 转码方向错误（双重旋转/ffprobe 取错行/逗号转义） (#1559) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 21:56:02 +08:00
xiaoxia	61295b9c25	feat(tts): 正式合成支持克隆音色 + 保存到配音库改写 assets 素材体系 + 克隆接口支持 asset_id (#1556) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 18:46:06 +08:00
CI Bot	b69588f14d	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-30 03:38:42 +00:00
xiaoxia	1f9236bb16	fix(ingest-jobs): GET /{job_id} 查不到时返回 404 而非 500 ValueError ... 之前 job 不存在抛 ValueError，被全局异常处理映射到 500，导致客户端拿不到合理的 '未找到'语义。改为 HTTPException(404)。 补 GET 路由单测：不存在→404、存在→200 + 字段完整。	2026-08-30 11:27:27 +08:00
xiaoxia	839426a2cc	fix: 素材余量四字段兼容 Asset 领域实体（真实接口恒为 None 修复） (#1550) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 08:21:00 +08:00
CI Bot	8c760d4a2d	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 23:21:59 +00:00
CI Bot	78e9463825	fix(segments): AI Review 二轮修复 — 批量无源plan索引守卫 + 区间set精度归一化 ... - [阻塞] count>1 但 source_edit_plan_id 为空时 variant_plan_ids 为空列表， 循环 task_index>0 直接索引 variant_plan_ids[task_index-1] 抛 IndexError 导致批量创建崩溃；加非空守卫，无源 plan 时各任务走自身随机选片 （新增回归测试 test_batch_no_plan_guard：还原守卫即红、修复后绿） - [建议] MediaKit 历史区间 set 去重前 round(3) 归一化浮点精度，避免 1.0 与 1.0000000001 被误判为不同区间 - [建议] smart-match 循环调用 compute_asset_availability 为纯函数 （只读 model 内存字段、无 DB 查询），无 N+1 问题，无需修改	2026-08-30 07:14:16 +08:00
CI Bot	b2d4589949	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 18:38:42 +00:00
CI Bot	b2a334f99b	fix(segments): AI Review 阻塞项修复 — 记录写入行级锁 + 克隆失败不降级共用 ... - record_used_segments 读取 AssetModel 加 with_for_update() 行级锁， 序列化并发事务对 classification_result 的读-改-写，杜绝区间记录丢失更新 （SQLite 下 with_for_update 为 no-op） - 批量生成：变体 plan 克隆前置到任务创建之前，全部成功才建任务（无脏数据）； 克隆含 1 次重试抗 DB 抖动，仍失败则 500 中断，不再静默退回共用源 plan - 预览生成：克隆失败标记任务 failed 并返回 500，不再退回原 plan （两条修复共同保证批量/多预览视频内容不重复的业务约束） - 测试：FakeSession 支持 with_for_update；预览相关测试 mock EditPlanService 或显式置空 source_edit_plan_id；zip 加 strict（B905）	2026-08-30 02:33:19 +08:00
CI Bot	7cb36a5c3d	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 18:16:26 +00:00
CI Bot	e33502956c	feat(segments): 片段重复率控制（受控复用+15%闸门）与素材余量四字段 ... Task G：任意两条成片画面重复率 ≤15% - MediaKit 智能选片避让历史区间：历史区间并入冲突检查、0.3s 边缘间隙、 撞历史时放弃推荐保留原起点（不再挪到已用画面） - 自动轮回改造为受控复用：历史永不自动清空；used_time_ranges 增加 use_count/last_used_at；100 次随机失败后复用 last_used_at 最老且 use_count<3 的区间；单条成片复用占比 >15% 时该素材停止分配（分配闸门 + 复用回调内预判双闸门）；全部素材超限返回 400「素材可切区间不足，请补充新素材」 - 复用回调返回 None 时 calc 直接返回 None（删除末尾/0.0 重叠降级）， from-assets 轮询内 calc 失败切换下一素材 - 批量 N 条视频片段独立：count>1 时克隆独立 plan，禁止共用 source_edit_plan_id/clips（合并 Issue #1282）；预览同样克隆独立变体 - 常量：REUSE_RATIO_LIMIT=0.15 / SEGMENT_EDGE_GAP=0.3 / MAX_RANGE_USE_COUNT=3 Task H：素材余量透出与已用尽素材排除 - GET /assets 列表与详情响应附加 used_duration/available_duration/ used_ratio/usable 四字段（非视频/无时长/异常时 None + usable=True，零影响） - usable=false：零重复可切区间已耗尽（扩边后无 ≥3s 空闲段）且所有历史 区间 use_count 均达上限 - smart-match 结果层过滤 usable=false 素材（评分逻辑不动） - from-assets 对已用尽素材天然兜底：calc 返回 None → 轮询跳过 → 全部素材用尽时 400 测试：新增 test_mediakit_conflicts(10)/test_clone_plan_variant(7)/ test_asset_availability(23)，更新 tracker/clips/mediakit 既有用例； 全量 unit 13910 passed	2026-08-30 02:10:06 +08:00
CI Bot	1b83ec9952	fix: AI Code Review 阻塞问题修复 ... 1. remove_used_segment 旧数据兼容：记录缺 plan_id（本功能上线前的旧数据）时 退化为按时间匹配删除，避免旧区间永远删不掉导致素材容量泄漏 2. MediaKit 异步更新事务一致性：clip start_time 更新与 metadata 区间记录 删旧/写新放入同一事务，metadata 失败时 rollback 本次 clip 更新， 统一 commit，消除 clip 已提交、metadata 未更新的不一致 3. (建议) on_exhausted 回调异常增加 logger.warning，不再静默吞掉 4. 补充旧数据兼容单测	2026-08-29 20:38:56 +08:00
CI Bot	5d705307c1	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 12:26:01 +00:00
CI Bot	2174e91c48	feat: 素材片段区间持久化去重 + 区间用尽自动轮回 ... - 新增 asset_segment_tracker 服务：素材 metadata(used_time_ranges) 持久化片段级已用区间 - from-assets 创建片段时读取历史区间，新片段跨任务/跨调用自动避开 - 片段记录与 replace_all_clips_transactional 同事务，失败整体回滚 - MediaKit 异步移动片段起点后同步更新 metadata 区间记录（失败静默） - _calc_random_start_time 新增 on_exhausted 回调：100次找不到时清空该素材历史区间再重试，实现轮完一圈自动循环 详见 PR body 的 metadata schema 说明	2026-08-29 20:14:28 +08:00
CI Bot	05d75db0cf	chore: 删除素材选取 random 模式 ... - generation_tasks.py: 删除 import random、if mode==random 分支、docstring 中 random 描述 - generation_task.py schema: description 移除 random=随机选取，count 描述仅保留 smart - 选取入口条件 in ("random","smart") 改为 in ("smart",) - test_asset_select_mode.py: 删除 TestSelectAssetsRandomMode 类（3个用例） - domain/test_generation_task.py + test_wave77_generation_task.py: random→smart 不改：_calc_random_start_time（片段级随机）、smart_match.py、前端	2026-08-29 17:54:15 +08:00
CI Bot	874893900d	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 04:25:30 +00:00
xiaoxia	250702de59	fix: worker 音频 mime 推断补充 .m4a/.mp3/.wav/.flac/.ogg/.aac/.wma/.amr/.opus/.weba ... infer_mime_type_from_storage_key 此前只识别视频后缀，其他一律返回 image/jpeg，导致所有音频文件在 ingest 后被标记为 file_type=image， 配音上传和克隆音色上传均失败。 补充音频后缀分支，返回对应 audio/... mime type。 新增 10 个音频单测，共 13 测试全过。	2026-08-29 12:00:52 +08:00
xiaoxia	bde37af2bb	fix: SSRF 白名单加固 — 修复 endpoint 解析绕过 + 补充 IPv6 内网拦截 ... AI Code Review 第二轮指出的两个阻塞问题： 1. endpoint 主机名解析绕过：原逻辑 ep.split(':')[0] 在 endpoint 带 scheme（http://host:9000）时取到 'http'，虽白名单顺序使 public_url 先生效，但 endpoint 分支可能错误匹配 '.http' 后缀。 修复：新增 _endpoint_host() 统一用 urlparse 提取主机名， 兼容有无 scheme、带端口等各种配置形式。 2. 缺失 IPv6 内网地址校验：[::1]、fe80::/10（链路本地）、 fc00::/7（唯一本地）等 IPv6 本地地址未拦截。 修复：补充 IPv6 回环/链路本地/ULA 地址显式拒绝。 附带： - 移除函数内重复的 urlparse 导入，统一使用顶部导入 - 新增 2 个白名单单元测试（IPv4/IPv6/元数据拦截 + scheme 解析） - 共 36 个测试全部通过	2026-08-29 00:39:05 +08:00
CI Bot	e5e18ef269	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-28 16:27:56 +00:00
xiaoxia	3b828ab184	fix: 封面选帧接口安全加固 — 权限校验防绕过 + video_url SSRF 白名单 ... AI Code Review 指出的两个阻塞问题： 1. 权限校验绕过（步骤0a）：原逻辑仅在关联任务存在且 created_by_user_id 非空时才校验归属；若 GeneratedVideo 的 generation_task_id 为空或关联任务被删除，校验被静默跳过。 修复： - 优先校验 GeneratedVideo.user_id 直接归属 - 关联任务存在时校验 task.created_by_user_id - video 无 owner 且关联任务也查不到（归属无法确认）→ 403， 不再静默放行 2. video_url SSRF（步骤0b）：原逻辑直接使用请求体传入的 URL， 攻击者可传入内网/云元数据地址诱导服务端请求。 修复：新增 _is_trusted_media_url() 白名单校验： - 仅允许 http/https 且主机为自家 OSS bucket/endpoint 域名 - 显式拒绝 localhost/127.*/10.*/192.168.*/169.254.*/172.16-31.* - 校验失败静默忽略该 URL，回退后续查找链 附带改进（review 建议项）： - 函数内联 import 全部移至模块顶部（storage/re） - 新增 2 个安全测试：SSRF 内网地址拦截、归属无法确认 403 - 现有 32 个测试适配新的 mock 命名空间，共 34 个测试全过	2026-08-29 00:21:49 +08:00
CI Bot	b6f211ebe6	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-28 15:35:01 +00:00
xiaoxia	3e71a00b12	fix: 封面选帧输入源改为最终成片，预览片段作为兼容回退 ... - GenerateCoverRequest 新增可选字段 generated_video_id / video_url， 与前端 PR #1533 契约对齐：前端在「选择封面」步骤传入确认生成产出的 最终视频 ID 或 URL，后端据此定位最终成片文件并抽帧 - 视频源查找优先级调整： 0a. 请求体 generated_video_id → GeneratedVideo.file_url 0b. 请求体 video_url → 直接使用 1. plan.config.rendered_storage_key 2. plan.config.generation_task_id 3. source_edit_plan 关联的 is_preview=False 已完成任务（最终成片优先） 4. source_edit_plan 关联的 is_preview=True 预览任务（回退） 5. user+template 最近预览任务（兜底） - cover_url 查找同步调整：优先最终成片任务的 cover_url，再回退预览 - MediaKit 的 strategy/max_frames/轮询/重试/降级逻辑全部不变 - 权限校验：通过 generated_video_id 关联的 generation_task 校验归属 - 新增 5 个单测覆盖：schema 字段、video_id 抽帧、video_url 抽帧、 最终成片优先于预览、权限校验 403	2026-08-28 23:13:18 +08:00
xiaoxia	12f51d43bf	feat(from-assets): 改为异步执行MediaKit分析 (#1525) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-28 12:26:00 +08:00
CI Bot	ab81c0115a	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-27 16:53:21 +00:00
CI Bot	ecfa478a24	fix: guard empty asset_ids + validate clip_duration > 0 + fix old-system default ... - Add empty asset_ids check before modulo (defense-in-depth, schema also enforces min_length=1) - Add clip_duration <= 0 guard after asset_total capping - Fix old-system fallback default from 0.0 to _DEFAULT_EDITOR_CLIP_DURATION - Add test for empty asset_ids 400 - 48 tests passing	2026-08-28 00:47:21 +08:00
CI Bot	9711b6a545	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-27 16:37:26 +00:00
CI Bot	d771fee45a	fix: validate segment durations with _safe_segment_duration + upgrade fallback logs to warning ... - Add _safe_segment_duration() to handle None/invalid/negative/NaN values - Swap dur_min/dur_max if dirty data has min > max - Change fallback exception logs from DEBUG to WARNING for observability - Add 7 unit tests for _safe_segment_duration - 47 tests passing	2026-08-28 00:31:24 +08:00
CI Bot	753a3206a7	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-27 16:29:06 +00:00
CI Bot	5c62dad798	fix: atomic clip replacement via replace_all_clips_transactional + asset_total=0 guard ... - Use replace_all_clips_transactional for atomic delete+create (fixes data loss risk) - Guard asset_total <= 0 with HTTP 400 (fixes invalid clip creation) - Update tests to verify transactional replace and zero-duration guard - 40 tests passing	2026-08-28 00:20:04 +08:00
CI Bot	fdc9573baa	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-27 16:11:55 +00:00
CI Bot	030220f24d	test: update existing clip tests for template-segment-based creation	2026-08-27 23:58:56 +08:00
CI Bot	42c4f22b21	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-27 14:55:51 +00:00
CI Bot	a2b37e376d	feat(from-assets): create clips based on template segments instead of required_clips_count ... - Query template_segments/clip_configs by template_id, create exactly N clips matching segment count - Each clip duration randomly chosen between segment duration_min and duration_max (1 decimal) - Assets round-robin assigned across segments; same asset can produce multiple clips - Delete all existing clips for the plan before creating new ones (idempotent) - MediaKit recommendation only applied to the first clip using each asset; subsequent clips use random start times - MediaKit timeout/poll settings unchanged (60s/2s/15) - mark_clips_ready called immediately after creation - Ignore required_clips_count from frontend - Clips order starts from 0 since old clips are cleared - Add _get_template_segments helper supporting both new (clip_configs) and old (template_segments) systems - 28 unit tests covering segment query, clip creation, round-robin, deletion, duration bounds, MediaKit integration	2026-08-27 22:31:40 +08:00