2980 Commits

This Branch

This Branch

All Branches

Author	SHA1	Message	Date
xiaoxia	61c19c342e	fix: 修复 AI Code Review 阻塞级问题 ... 1. assets.py: 修复高频排除回退逻辑 min(limit,1) → limit 2. assets.py: high_use_excluded 改用 set 提升查找效率 3. dedup.py: compute_duplicate_rate 限制查询最近100个视频避免OOM 4. 更新单元测试适配新的查询方式	2026-08-31 16:06:09 +08:00
CI Bot	6f848343f2	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 07:29:06 +00:00
xiaoxia	a40de0338e	feat: 成片 duplicate_rate 百分比 + 素材高频使用自动排除 ... 任务一：生成视频补 duplicate_rate 百分比 - GeneratedVideoModel 加 duplicate_rate 列 (Float, nullable) - GeneratedVideo 领域实体 + repository 映射同步更新 - Alembic migration 059 - VideoDeduplicator.compute_duplicate_rate：遍历项目内已有视频， MD5精确=100%，pHash用 (1-avg_distance/64)*100，取最高值 - dedup_helpers 在指纹计算后调用并存入 duplicate_rate - VideoItemResponse schema 加 duplicate_rate 字段 - _to_video_response 透传 duplicate_rate 任务二：素材级自动排除高频使用素材 - asset_segment_tracker.get_asset_recent_use_counts： 统计每个素材在最近 N 个不同 plan_id 中的使用次数 - smart_match_assets 路由加高频排除层（阈值 3 次 / 最近 5 个视频） - 排除后不够 limit 时自动放宽，宁多不少 - 异常时降级跳过排除，不影响正常选素材 测试：12 个新用例覆盖 duplicate_rate 计算 + API 响应 + 高频统计	2026-08-31 15:14:34 +08:00
xiaoxia	ab23ca7e5a	fix(assets): 智能选素材传 limit 参数，避免「有几个选几个」 (#1570) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 14:21:00 +08:00
xiaoxia	dc816991d6	fix(assets): smart-match 响应扁平化——item 顶层直出素材字段，修复自动选素材全链路 404/422 ... P0 线上事故：前端 smartMatchAssets 按 {items: AssetItem[]} 解析， items.map(a => a.id) 直接取 id；但后端 SmartMatchItem 为 {asset: AssetResponse, score, breakdown} 包装结构，导致 id 全为 undefined → GET /assets/undefined 404 连发、POST /clips/from-assets 携带 null 422，自动模式预览无法生成、标题不显示。 修复： - SmartMatchItem 改为继承 AssetResponse 的扁平结构：id/usable/ used_duration/available_duration/used_ratio 等素材字段全部在 item 顶层，前端拿到即可用；score/breakdown 评分字段保留 - 路由用 model_dump() 解包构造，packages.domain.smart_select_assets 域层 SmartMatchResult.asset 不动，generation_tasks 内部生成链路 （[r.asset.id for r in results]）零影响 - ClipsFromAssetsRequest 加 pre validator 过滤 null/空串/空白 id； from-assets 路由层二次归一化兜底，全非法时 400 而非 422/500 测试：扁平结构 3 用例（顶层 id/无 asset 包装/余量字段可读/评分保留）、 端点 TestClient 断言更新、from-assets 容错 4 用例；相关 95 用例全过	2026-08-31 13:35:05 +08:00
xiaoxia	f7693baeae	ci(retag/deploy): 增加镜像内容校验，防止静默部署旧/损坏镜像 ... retag_skipped_image.sh 加固: - 源镜像 layers 有效性检查（layers=0 拒绝 retag） - 镜像创建时间审计（>72h 输出警告） - digest 审计记录，方便溯源 ci_staging_deploy.sh 加固: - pull 后逐服务校验镜像 layers 有效性 - 记录每个镜像的 digest/size/created - 对比上次部署 manifest，标注变化状态 - 写入 deploy-manifest.json 供下次对比 - 校验失败直接阻断部署 concurrency 保持 cancel-in-progress: true（不变） 生产发版链路不动	2026-08-31 12:01:19 +08:00
xiaoxia	107a391c47	fix(ci): 修正自检step插入位置（独立step而非Checkout内部） ... 上一版 selfcheck 被插进 Checkout code step 内部导致 shell/env 键重复， Gitea 拒绝解析整个 workflow（DetectWorkflows: ignore invalid workflow）。 本版将 selfcheck 作为独立 step 放在 Checkout 之后。	2026-08-31 11:57:59 +08:00
xiaoxia	2376f0c807	fix(ci): 自检step移到Checkout之后——修复PR分支无脚本导致的误失败	2026-08-31 11:57:59 +08:00
xiaoxia	8c0c34300f	fix(ci): 僵尸run复活防护——重负载job自检+dedupe竞态增强 ... P1修复（2026-08-30 CI巡检实证）： Gitea 1.26.4 调度器bug：被 concurrency cancel 的 run，其 job 会在数小时后 被复活重跑（attempt=2）。实测 42597 号 run 18:46 被取消，21:46 复活， 与正常流水线并行烧了1.5小时 runner（Validate+UnitTests+staging构建全套）， 合并高峰双流水线CPU超卖导致单测 14分→30分。 改动： 1. 新增 scripts/ci/ci_run_selfcheck.sh：job 启动第一步实时查本 run 状态， 若 conclusion 为 cancelled/skipped（被复活的僵尸job）立即退出(exit 78)， API 故障时不阻断（unknown 照常执行） 2. ci-pipeline.yml 12 个重量级 job（validate×3、unit/integration/frontend×2、 build-pr/build-staging/staging-e2e/api-tests/build-production）首步插入自检 3. dedupe-check 情形2增强：同一 head_sha 的 push 流水线不只是在跑时去重， 已 success 完成时 PR 侧测试同样跳过（消除竞态窗口双跑）	2026-08-31 11:57:59 +08:00
xiaoxia	3bc850dc0f	fix(ci): 定时任务防僵尸自保——urlopen补超时+扫描墙钟上限+降频 ... P0修复：pr_auto_scan.py 的 api_request() 中 urlopen 无 timeout， 网络异常时永久阻塞（2026-08-30 实测卡死195分钟占满runner slot）， 而 Gitea 1.26.4 的 timeout-minutes 对卡死job不生效。 改动： 1. pr_auto_scan.py: urlopen 加 timeout=15s + URLError/socket.timeout 异常捕获(返回599)；新增 --max-wall-seconds(默认240s)墙钟上限， 到点主动退出；merge_pr 的 sleep(30) 改为可中断轮询 2. acr_cleanup.py: 7处 urlopen 补 timeout=30s（生产清理链路同款隐患） 3. auto_fix_formatting.py: 5处 urlopen 补 timeout=15s 4. pr-auto-scan.yml / ci-trigger-monitor.yml: schedule 从 */5 降到 */10， 24h运行次数各减半(288→144)，监控告警阈值同步为10分钟	2026-08-31 11:28:10 +08:00
xiaoxia	301b591037	fix(test): 清理 sys.modules 时保留 video_processing.* 模块 ... 清理逻辑跳过 video_processing.* 前缀的模块，确保 patch() 字符串 目标解析到的模块对象与 ingest_mod 内部引用的一致，避免 mock 失效。 修复 AI Code Review 阻塞级问题。	2026-08-31 11:11:43 +08:00
xiaoxia	8d8b565499	fix(test): upload_to_oss patcher 改用字符串目标，修复 ingest.py 局部 import 不生效 ... patch.object(_oss_helpers_real, ...) 对 ingest.py 函数体内的 from video_processing.oss_helpers import upload_to_oss 不生效， 改为 patch("video_processing.oss_helpers.upload_to_oss", ...) 与 thumb patcher 策略一致，确保 patch.start() 时从 sys.modules 解析模块对象再打补丁。	2026-08-31 10:57:54 +08:00
xiaoxia	2662cd78fe	fix(test): thumb patcher 改回字符串目标 ... patch.object(_thumb_gen_real) 对 ingest.py 的局部 import 不生效 （模块对象可能不同），改回 patch(字符串目标) 从 sys.modules 取真实模块打补丁。 核心修复（不注入 video_processing mock 到 sys.modules）不变。	2026-08-31 09:23:19 +08:00
CI Bot	26856e1015	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 01:11:43 +00:00
xiaoxia	e5d7fddfcf	fix(test): hevc 转码测试不再注入 video_processing mock 到 sys.modules ... 根因：sys.modules 注入 video_processing.oss_helpers / thumbnail_generator 的 MagicMock 即使清理，仍因 video_processing/__init__.py 的 `from . import oss_helpers` 导致包属性残留为 MagicMock， 跨文件污染 test_oss_helpers_pure / test_oss_upload_crash_fix / test_p02_worker_oss_fix 等（39 个用例失败）。 修复：不再向 sys.modules 注入 video_processing.* mock，改为直接 import 真实模块后用 patch.object 打补丁（patch.stop 自动还原）。 worker_app.db / celery_app mock 保留（独立包树，不影响共享工具包）。	2026-08-31 09:04:05 +08:00
xiaoxia	d2098b03ab	fix(test): hevc 转码测试恢复 sys.modules 时删除全部 mock 条目（补 #1566 漏修） (#1567) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 02:51:01 +08:00
xiaoxia	40eca5e83f	fix(web): 上传按钮模式+卡片文字重叠+AI配音时长+smart-match结构兼容 (#1564) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 02:06:03 +08:00
xiaoxia	4cf6f222ed	fix(test): test_ingest_hevc_transcode_task 模块级 mock 用后清理，修复跨文件 mock 污染 (#1566) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 01:36:01 +08:00
xiaoxia	0fde7d687c	fix(test): test_dedup_engine 不再 mock packages.shared 父包，修复 50 个 thumbnail 单测被 mock 污染 (#1563) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 00:36:06 +08:00
xiaoxia	fb197e8386	fix(assets): 骨架屏网格列数同步真实网格(6列)+响应式断点对齐 (#1560) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 22:21:01 +08:00
xiaoxia	15bc55f0ff	fix(ingest): 修复竖屏 HEVC 转码方向错误（双重旋转/ffprobe 取错行/逗号转义） (#1559) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 21:56:02 +08:00
xiaoxia	61295b9c25	feat(tts): 正式合成支持克隆音色 + 保存到配音库改写 assets 素材体系 + 克隆接口支持 asset_id (#1556) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 18:46:06 +08:00
xiaoxia	63e68756ac	feat(assets): 上传完成即时刷新素材网格+卡片尺寸缩小 (#1558) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 18:41:00 +08:00
xiaoxia	5c45629495	feat(assets): 上传即入库——批量上传队列化(并发3)+真实进度+刷新不丢 (#1557) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 17:56:02 +08:00
xiaoxia	dd71b644c0	feat(generate): 自动匹配模式删除「AI 已选素材」展示 (#1555) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 15:56:00 +08:00
xiaoxia	de97f5f0fb	fix(voices): 配音库四连修复——进度条隔离/TTS克隆音色/克隆弹窗素材选择 (#1554) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 14:56:00 +08:00
xiaoxia	4f7746926c	Merge pull request 'fix(ingest-jobs): GET /{job_id} 查不到时返回 404 而非 500' (#1553) from fix/ingest-jobs-404-not-found into develop	2026-08-30 12:00:07 +08:00
xiaoxia	1106ba5c45	fix(voices): 配音素材上传卡「处理中…」修复 (#1552) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 11:46:04 +08:00
CI Bot	b69588f14d	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-30 03:38:42 +00:00
xiaoxia	1f9236bb16	fix(ingest-jobs): GET /{job_id} 查不到时返回 404 而非 500 ValueError ... 之前 job 不存在抛 ValueError，被全局异常处理映射到 500，导致客户端拿不到合理的 '未找到'语义。改为 HTTPException(404)。 补 GET 路由单测：不存在→404、存在→200 + 字段完整。	2026-08-30 11:27:27 +08:00
xiaoxia	411595ed90	ci: 测试类job去重——同head_sha有push流水线时PR侧跳过测试 (#1551) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 10:56:00 +08:00
xiaoxia	839426a2cc	fix: 素材余量四字段兼容 Asset 领域实体（真实接口恒为 None 修复） (#1550) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 08:21:00 +08:00
xiaoxia	3acdb8b729	Merge pull request 'feat: 片段重复率控制（受控复用+15%双闸门+批量plan独立）与素材余量四字段' (#1549) from feat/segment-duplication-control into develop	2026-08-30 07:36:33 +08:00
CI Bot	8c760d4a2d	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 23:21:59 +00:00
CI Bot	78e9463825	fix(segments): AI Review 二轮修复 — 批量无源plan索引守卫 + 区间set精度归一化 ... - [阻塞] count>1 但 source_edit_plan_id 为空时 variant_plan_ids 为空列表， 循环 task_index>0 直接索引 variant_plan_ids[task_index-1] 抛 IndexError 导致批量创建崩溃；加非空守卫，无源 plan 时各任务走自身随机选片 （新增回归测试 test_batch_no_plan_guard：还原守卫即红、修复后绿） - [建议] MediaKit 历史区间 set 去重前 round(3) 归一化浮点精度，避免 1.0 与 1.0000000001 被误判为不同区间 - [建议] smart-match 循环调用 compute_asset_availability 为纯函数 （只读 model 内存字段、无 DB 查询），无 N+1 问题，无需修改	2026-08-30 07:14:16 +08:00
CI Bot	b2d4589949	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 18:38:42 +00:00
CI Bot	b2a334f99b	fix(segments): AI Review 阻塞项修复 — 记录写入行级锁 + 克隆失败不降级共用 ... - record_used_segments 读取 AssetModel 加 with_for_update() 行级锁， 序列化并发事务对 classification_result 的读-改-写，杜绝区间记录丢失更新 （SQLite 下 with_for_update 为 no-op） - 批量生成：变体 plan 克隆前置到任务创建之前，全部成功才建任务（无脏数据）； 克隆含 1 次重试抗 DB 抖动，仍失败则 500 中断，不再静默退回共用源 plan - 预览生成：克隆失败标记任务 failed 并返回 500，不再退回原 plan （两条修复共同保证批量/多预览视频内容不重复的业务约束） - 测试：FakeSession 支持 with_for_update；预览相关测试 mock EditPlanService 或显式置空 source_edit_plan_id；zip 加 strict（B905）	2026-08-30 02:33:19 +08:00
CI Bot	7cb36a5c3d	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 18:16:26 +00:00
CI Bot	e33502956c	feat(segments): 片段重复率控制（受控复用+15%闸门）与素材余量四字段 ... Task G：任意两条成片画面重复率 ≤15% - MediaKit 智能选片避让历史区间：历史区间并入冲突检查、0.3s 边缘间隙、 撞历史时放弃推荐保留原起点（不再挪到已用画面） - 自动轮回改造为受控复用：历史永不自动清空；used_time_ranges 增加 use_count/last_used_at；100 次随机失败后复用 last_used_at 最老且 use_count<3 的区间；单条成片复用占比 >15% 时该素材停止分配（分配闸门 + 复用回调内预判双闸门）；全部素材超限返回 400「素材可切区间不足，请补充新素材」 - 复用回调返回 None 时 calc 直接返回 None（删除末尾/0.0 重叠降级）， from-assets 轮询内 calc 失败切换下一素材 - 批量 N 条视频片段独立：count>1 时克隆独立 plan，禁止共用 source_edit_plan_id/clips（合并 Issue #1282）；预览同样克隆独立变体 - 常量：REUSE_RATIO_LIMIT=0.15 / SEGMENT_EDGE_GAP=0.3 / MAX_RANGE_USE_COUNT=3 Task H：素材余量透出与已用尽素材排除 - GET /assets 列表与详情响应附加 used_duration/available_duration/ used_ratio/usable 四字段（非视频/无时长/异常时 None + usable=True，零影响） - usable=false：零重复可切区间已耗尽（扩边后无 ≥3s 空闲段）且所有历史 区间 use_count 均达上限 - smart-match 结果层过滤 usable=false 素材（评分逻辑不动） - from-assets 对已用尽素材天然兜底：calc 返回 None → 轮询跳过 → 全部素材用尽时 400 测试：新增 test_mediakit_conflicts(10)/test_clone_plan_variant(7)/ test_asset_availability(23)，更新 tracker/clips/mediakit 既有用例； 全量 unit 13910 passed	2026-08-30 02:10:06 +08:00
xiaoxia	652bbfe12b	feat(assets): 素材余量角标 + Step2 过滤已用尽素材 (#1548) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 01:26:00 +08:00
xiaoxia	6422472ef3	feat(voices): 配音素材卡片 UI 对齐预置音色 + 删除常驻 + 批量删除 (#1545) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-29 23:21:00 +08:00
xiaoxia	0a061af582	feat(voices): 配音素材卡片真实播放 + 预置/克隆音色 TTS 试听 (#1544) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-29 21:56:00 +08:00
xiaoxia	f655508f88	Merge pull request 'feat: 素材片段区间持久化去重 + 区间用尽自动轮回' (#1543) from feat/persist-used-segments into develop	2026-08-29 21:19:15 +08:00
CI Bot	1b83ec9952	fix: AI Code Review 阻塞问题修复 ... 1. remove_used_segment 旧数据兼容：记录缺 plan_id（本功能上线前的旧数据）时 退化为按时间匹配删除，避免旧区间永远删不掉导致素材容量泄漏 2. MediaKit 异步更新事务一致性：clip start_time 更新与 metadata 区间记录 删旧/写新放入同一事务，metadata 失败时 rollback 本次 clip 更新， 统一 commit，消除 clip 已提交、metadata 未更新的不一致 3. (建议) on_exhausted 回调异常增加 logger.warning，不再静默吞掉 4. 补充旧数据兼容单测	2026-08-29 20:38:56 +08:00
CI Bot	5d705307c1	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 12:26:01 +00:00
CI Bot	2174e91c48	feat: 素材片段区间持久化去重 + 区间用尽自动轮回 ... - 新增 asset_segment_tracker 服务：素材 metadata(used_time_ranges) 持久化片段级已用区间 - from-assets 创建片段时读取历史区间，新片段跨任务/跨调用自动避开 - 片段记录与 replace_all_clips_transactional 同事务，失败整体回滚 - MediaKit 异步移动片段起点后同步更新 metadata 区间记录（失败静默） - _calc_random_start_time 新增 on_exhausted 回调：100次找不到时清空该素材历史区间再重试，实现轮完一圈自动循环 详见 PR body 的 metadata schema 说明	2026-08-29 20:14:28 +08:00
xiaoxia	700d6f9130	Merge pull request 'chore: 删除素材选取 random 模式，保持代码干净' (#1542) from chore/remove-random-asset-mode into develop	2026-08-29 18:14:50 +08:00
CI Bot	5a00f8b8fb	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-29 10:02:10 +00:00
CI Bot	05d75db0cf	chore: 删除素材选取 random 模式 ... - generation_tasks.py: 删除 import random、if mode==random 分支、docstring 中 random 描述 - generation_task.py schema: description 移除 random=随机选取，count 描述仅保留 smart - 选取入口条件 in ("random","smart") 改为 in ("smart",) - test_asset_select_mode.py: 删除 TestSelectAssetsRandomMode 类（3个用例） - domain/test_generation_task.py + test_wave77_generation_task.py: random→smart 不改：_calc_random_start_time（片段级随机）、smart_match.py、前端	2026-08-29 17:54:15 +08:00
xiaoxia	f327171e9b	fix(voice): 修复克隆音色弹窗「选文件无反应」死锁（isSubmittingRef 三处误用） (#1541) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-29 17:36:00 +08:00