3010 Commits

This Branch

This Branch

All Branches

Author	SHA1	Message	Date
xiaoxia	e61cb3abdb	fix: replace psycopg2 with psycopg3 in run_validate.sh	2026-09-01 08:14:26 +08:00
xiaoxia	7a43e98b36	fix: replace psycopg2 with psycopg3 in run_integration_tests.sh	2026-09-01 08:13:54 +08:00
xiaoxia	6a12608104	fix(clips): P0 自建模板 from-assets 400——直接查 clip_configs 表兜底 (#1596)	2026-09-01 07:47:56 +08:00
CI Bot	c08a064e55	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 23:44:35 +00:00
xiaoxia	83cb632653	fix(clips): 自建模板 from-assets 400——直接查 clip_configs 表兜底 ... 根因：_get_template_segments 中 tpl_svc.list_clip_configs() 内部调用 get_template_or_raise → 模板主体在 edit_templates 新表不存在 → ValueError 被 except 捕获 → 回退旧 template_segments 表 → 数据已迁移 至 template_clip_configs → 返回空 → 400 "模板没有片段配置"。 修复：在 except 块与旧系统回退之间新增一段直接查 template_clip_configs 表的逻辑（SQLAlchemyTemplateClipConfigRepository.list_by_template）， 绕过主表校验，片段表自带 template_id 外键即可独立查询。 三级回退链： 1. 新模板系统（主表存在）→ 原逻辑不变 2. 主表不存在 → 直接查 clip_configs 表兜住（新路径） 3. 直接查表也失败 → 回退旧 template_segments 表 4. 全部失败 → 返回空 新增 8 个单测覆盖三级回退链全部路径。	2026-09-01 07:37:00 +08:00
xiaoxia	45c07789e0	feat(title): 标题自由位置拖拽后端支持——pos_x/pos_y 注入 \pos 定位 (#1592)	2026-09-01 01:52:53 +08:00
xiaoxia	3745970515	feat(title): 标题预设卡片改紧凑正方形T图标（工单#1263） (#1591) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-01 01:36:00 +08:00
xiaoxia	34e8c56584	feat(title): 标题自由位置拖拽后端支持——pos_x/pos_y 注入 \\pos 定位 ... 工单 #1405 方案 B：前端支持用户在预览画面自由拖拽标题位置， 后端烧录 ASS 时按坐标定位。只动 Title，Subtitle 逻辑不变。 - title_config 新增可选字段 pos_x、pos_y（PlayRes 像素整数， PlayResX/Y = video_width/video_height） - 两字段同时存在、为 int（bool/float/字符串拒绝）、且落在 [0,video_width]×[0,video_height] 闭区间内时： - TitleStyle Alignment 固定 5（\an5 中对齐，\pos 锚点为文本块中心） - Dialogue 文本前注入 {\pos(x,y)} override tag - 字段缺失/非法/越界一律回退 position → alignment 三档逻辑， 现有 top/center/bottom 输出一字节不变 - 新增 9 个单测：合法坐标注入、边界值、无坐标回归、越界回退、 非法类型回退（含 bool/float/None/字符串）、单字段回退、 三档对齐不变、pos 覆盖 position、subtitle 不受影响	2026-09-01 01:25:25 +08:00
xiaoxia	41fdd7e066	fix(smart-match): 过滤前置+余量/高频全过滤时空结果回退保留素材 (#1590)	2026-09-01 01:05:46 +08:00
CI Bot	7e266d5d64	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 16:57:05 +00:00
xiaoxia	743d5d5467	feat(products): 成片卡片信息补全（分辨率/时长/大小/查重率）+ 竖屏视频cover填满 + Tab改名AI智能匹配 (#1589) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-01 00:51:06 +08:00
xiaoxia	8e962b3af2	fix(smart-match): 过滤前置+余量/高频全过滤时空结果回退保留素材 ... 根因：路由旧实现先 smart_select_assets(limit=N) 截取 Top-N，再对这 N 条 做 usable/高频过滤，过滤后不回补。排名靠前素材恰好全部被排除时返回空 items，前端回退全选（smart-match 名存实亡）；usable 过滤在 limit 之后， 被排除名额也不从排名靠后候选回补。 修复： - 余量过滤、高频排除全部前置到评分/limit 之前，在全量候选上过滤 - 余量过滤后为空（全部可切区间耗尽）→ 回退保留全部候选 - 高频排除后为空或不足 limit → 回退保留全部可用素材（与旧逻辑一致） - 高频查询异常 → 跳过排除（不变） - 更新 test_all_exhausted_returns_empty → 回退语义 - 新增 test_smart_match_fallback.py 7 用例覆盖各回退路径	2026-09-01 00:43:57 +08:00
xiaoxia	ea51a8af26	perf(ci): ci-base 镜像预装 ffmpeg——消除 unit-tests 每次 24min apt 安装 ... unit-tests job 跑在全新容器里，ci-base 镜像未预装 ffmpeg， step_install_ffmpeg.sh 每次都 apt-get update + install ffmpeg， ffmpeg 拉取 x264/aom/systemd 等数百个编解码依赖，固定耗时约 24 分钟， pytest 本身 21-23 分钟，导致该 job 每次 45-50 分钟。 把 ffmpeg 预装到 ci-base 镜像后，step_install_ffmpeg.sh 检测到 ffmpeg 已存在会立即退出（exit 0），unit-tests 直接省掉 ~24 分钟。 注：ci-base 镜像需重建并推送 registry 后生效。	2026-09-01 00:32:53 +08:00
xiaoxia	56766c6a1a	fix(ci): actions/cache@v4 加 continue-on-error——缓存故障不阻断 job ... 所有 5 个 actions/cache@v4 步骤加 continue-on-error: true： - validate-style pip cache - validate-security pip cache - validate-python pip cache - unit-tests pip cache - frontend-unit-test npm cache 当 Gitea Actions 缓存基础设施出现瞬态故障（git cache EOF / 归档损坏）时，cache restore 步骤会标黄但不中断 job， 后续的 pip install 重试逻辑自动 fresh download 兜底。	2026-08-31 23:54:54 +08:00
xiaoxia	d45f0d6bdb	chore: trigger staging deploy after PR#1585 merge	2026-08-31 22:48:26 +08:00
xiaoxia	bc9df316dc	fix(ci): Web 镜像 buildx 幽灵缓存防护——Git Tree Hash Cache Bust ... 问题：ci-builder-persist 持久化 builder 的 buildkit 层缓存偶尔出现'幽灵命中'： COPY apps/web/ ./ 步骤认为自己没变（实际文件已改），导致 vite build 不执行， 打出来的 Web 镜像前端文件是旧的。 修复原理： 把 apps/web/ 目录的 git tree hash 作为 build arg 传入 Dockerfile。 buildx 把 build arg 值作为缓存键的一部分，hash 变了 → RUN 步骤缓存失效 → vite build 必须重新执行。依赖层（npm ci）不受影响，仍然正常缓存。 改动： 1. web.Dockerfile：新增 ARG SOURCE_HASH，在构建步骤写入 .cache_bust 文件 2. docker_build_push.sh：Web 镜像构建时计算 git tree hash 并传入 3. docker_build_only.sh：同上 验证： - 合并后触发 push 到 develop - 查看 Build Staging Web Image 日志，确认输出 Web cache bust: SOURCE_HASH=xxxxx - 修改 apps/web/ 下文件再次 push，确认 SOURCE_HASH 值变化且 vite build 执行	2026-08-31 22:40:57 +08:00
xiaoxia	5ed2ee1192	feat: 统一模板 segments 数据源到 template_clip_configs (#1579) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 22:26:03 +08:00
xiaoxia	061554af89	chore: trigger staging deploy for template segments unification	2026-08-31 21:43:42 +08:00
CI Bot	87cca302f4	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 13:26:58 +00:00
xiaoxia	deb127ae08	feat: 统一模板 segments 数据源为 template_clip_configs (#1579)	2026-08-31 21:07:43 +08:00
xiaoxia	a9438ed996	chore: re-trigger CI (previous run had git-cache EOF infra failure)	2026-08-31 20:46:10 +08:00
xiaoxia	72f47592a9	fix(ci): 安全/风格检查 pip install 加固——防缓存损坏导致 CI 失败 ... 问题：Gitea Actions cache 返回损坏归档时（cache EOF/deserialization failed）， pip install pip-audit/detect-secrets/vulture 因 hash mismatch 直接 exit 1， 导致 validate-security/validate-style 整体失败。 修复： - detect-secrets/pip-audit/vulture 安装加 --no-cache-dir - pip-audit 安装失败后 graceful skip（本身是 advisory-only） - detect-secrets 安装失败后重试一次 --no-binary - vulture 安装失败后 skip 死代码检测（本身是 advisory-only）	2026-08-31 20:16:34 +08:00
xiaoxia	b6c340a352	fix(ci): check-push-paths 恢复脚本下载——e052c054移除checkout导致脚本找不到 (#1582)	2026-08-31 20:00:26 +08:00
xiaoxia	6e76b45d34	feat: 统一模板 segments 数据源为 template_clip_configs ... - list_segments/list_by_user 优先读 clip_configs，回退 template_segments - create_segments 写入 clip_configs，material_type 存 config JSON - copy_template 复用 create_segments，使用 created.id - delete 复用 delete_segments_by_template 清理两张表 - migration 060: 方言感知(postgresql/mysql)一次性迁移历史数据 - 11 个新测试 + 120 个现有测试全部通过 Closes #1579	2026-08-31 19:58:51 +08:00
xiaoxia	cd8e77c1f6	fix(ci): deploy-staging 全栈 push 被错误 skip——success() 改 !cancelled() ... 问题：retag-staging-skipped 在全栈 push 时所有矩阵项都被 skipped（因为都有对应 build）， success() 认为 skipped 不满足条件，导致 deploy-staging 被跳过。 修复：success() → !cancelled()，允许 skipped 依赖不阻塞 deploy。 删除两行误导性注释（声称 success() 不阻塞 skipped，实际恰恰相反）。 安全兜底：build-staging 真正失败时 workflow 会 cancel，!cancelled() 仍会阻止 deploy。	2026-08-31 18:58:18 +08:00
xiaoxia	4ae6394c95	ci: batch2 speedup - merge validate-type-check+migration into validate-python, split validate-code-quality into validate-style+validate-security ... Change 5: Merge validate-type-check + validate-migration into validate-python - Single checkout + single pip install → mypy + alembic - Saves ~2min checkout + ~1min pip install + 1 runner slot - Preserves DATABASE_URL env for alembic migration validation Change 6: Split validate-code-quality into validate-style + validate-security - validate-style: compileall + black/isort/ruff + vulture (advisory) + auto-fix (~3min) - validate-security: detect-secrets + bandit (advisory) + pip-audit (advisory) + CI scripts syntax (~5min) - Both jobs run in parallel, reducing wall-clock time from ~10min to ~5min Updated references: - ci-gate needs: validate-code-quality → validate-style + validate-security - ci-gate needs: validate-type-check + validate-migration → validate-python - build-production needs: validate-code-quality → validate-style + validate-security - Removed obsolete scripts/ci/validate_code_quality.sh	2026-08-31 18:25:00 +08:00
xiaoxia	e052c0545e	perf(ci): 流水线第一批提速 — 移除冗余checkout/ffmpeg，解除假依赖 (#1577) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 18:16:04 +08:00
xiaoxia	ee6fa3e1cf	fix(ci): push 路径检测安全回溯——防止 concurrency 取消导致前端改动丢失 (#1578)	2026-08-31 17:41:43 +08:00
xiaoxia	afe78fb25f	feat: 成片 duplicate_rate 百分比 + 素材高频使用自动排除 (#1573) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 16:56:52 +08:00
xiaoxia	42939a557f	feat(products): 成片库视频内联播放，去掉弹窗 + 自适应比例 (#1576)	2026-08-31 16:55:14 +08:00
xiaoxia	864f0e8eb2	fix(assets): 诊断接口改用 /projects/{projectId}/asset-diagnosis 路径 (#1575) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 16:06:01 +08:00
xiaoxia	243b0e7c78	ci: CI 瞬态故障自动重试机制 ... 问题： 当 runner 出现瞬态故障（磁盘满/docker挂/网络抖动），分配到该 runner 的 job 会在 checkout/setup 阶段失败。这种失败与代码无关，但没有自动 重试机制，需要人工干预。 方案： ci_transient_retry.sh - 每 5 分钟扫描最近 30 分钟的 runs： - 检测特征：失败 job 的 checkout/setup 阶段失败 + 同 run 其他 job 成功 - 自动 re-run 整个 workflow（Gitea API /rerun） - 每个 run 最多重试 1 次（状态文件跟踪，24h 自动清理） - 支持 --dry-run 模式 - 日志记录到 /var/log/ci-auto-retry.log 判定逻辑： - 失败 job 第一个 step 是 checkout/setup 且 conclusion=failure → 瞬态 - 同一 run 至少 2 个 job 成功（排除代码全挂） - 纯代码失败（lint/test/compile）→ 不重试 部署： - systemd timer: ci_transient_retry.{service,timer} - 或 crontab: */5 * * * * - Token 通过环境变量 / EnvironmentFile 注入，不硬编码	2026-08-31 15:23:40 +08:00
xiaoxia	dddbd3bfa2	fix(editing): 模板片段时长从范围改为固定值 (#1571) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 15:11:02 +08:00
xiaoxia	ab23ca7e5a	fix(assets): 智能选素材传 limit 参数，避免「有几个选几个」 (#1570) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 14:21:00 +08:00
xiaoxia	dc816991d6	fix(assets): smart-match 响应扁平化——item 顶层直出素材字段，修复自动选素材全链路 404/422 ... P0 线上事故：前端 smartMatchAssets 按 {items: AssetItem[]} 解析， items.map(a => a.id) 直接取 id；但后端 SmartMatchItem 为 {asset: AssetResponse, score, breakdown} 包装结构，导致 id 全为 undefined → GET /assets/undefined 404 连发、POST /clips/from-assets 携带 null 422，自动模式预览无法生成、标题不显示。 修复： - SmartMatchItem 改为继承 AssetResponse 的扁平结构：id/usable/ used_duration/available_duration/used_ratio 等素材字段全部在 item 顶层，前端拿到即可用；score/breakdown 评分字段保留 - 路由用 model_dump() 解包构造，packages.domain.smart_select_assets 域层 SmartMatchResult.asset 不动，generation_tasks 内部生成链路 （[r.asset.id for r in results]）零影响 - ClipsFromAssetsRequest 加 pre validator 过滤 null/空串/空白 id； from-assets 路由层二次归一化兜底，全非法时 400 而非 422/500 测试：扁平结构 3 用例（顶层 id/无 asset 包装/余量字段可读/评分保留）、 端点 TestClient 断言更新、from-assets 容错 4 用例；相关 95 用例全过	2026-08-31 13:35:05 +08:00
xiaoxia	f7693baeae	ci(retag/deploy): 增加镜像内容校验，防止静默部署旧/损坏镜像 ... retag_skipped_image.sh 加固: - 源镜像 layers 有效性检查（layers=0 拒绝 retag） - 镜像创建时间审计（>72h 输出警告） - digest 审计记录，方便溯源 ci_staging_deploy.sh 加固: - pull 后逐服务校验镜像 layers 有效性 - 记录每个镜像的 digest/size/created - 对比上次部署 manifest，标注变化状态 - 写入 deploy-manifest.json 供下次对比 - 校验失败直接阻断部署 concurrency 保持 cancel-in-progress: true（不变） 生产发版链路不动	2026-08-31 12:01:19 +08:00
xiaoxia	107a391c47	fix(ci): 修正自检step插入位置（独立step而非Checkout内部） ... 上一版 selfcheck 被插进 Checkout code step 内部导致 shell/env 键重复， Gitea 拒绝解析整个 workflow（DetectWorkflows: ignore invalid workflow）。 本版将 selfcheck 作为独立 step 放在 Checkout 之后。	2026-08-31 11:57:59 +08:00
xiaoxia	2376f0c807	fix(ci): 自检step移到Checkout之后——修复PR分支无脚本导致的误失败	2026-08-31 11:57:59 +08:00
xiaoxia	8c0c34300f	fix(ci): 僵尸run复活防护——重负载job自检+dedupe竞态增强 ... P1修复（2026-08-30 CI巡检实证）： Gitea 1.26.4 调度器bug：被 concurrency cancel 的 run，其 job 会在数小时后 被复活重跑（attempt=2）。实测 42597 号 run 18:46 被取消，21:46 复活， 与正常流水线并行烧了1.5小时 runner（Validate+UnitTests+staging构建全套）， 合并高峰双流水线CPU超卖导致单测 14分→30分。 改动： 1. 新增 scripts/ci/ci_run_selfcheck.sh：job 启动第一步实时查本 run 状态， 若 conclusion 为 cancelled/skipped（被复活的僵尸job）立即退出(exit 78)， API 故障时不阻断（unknown 照常执行） 2. ci-pipeline.yml 12 个重量级 job（validate×3、unit/integration/frontend×2、 build-pr/build-staging/staging-e2e/api-tests/build-production）首步插入自检 3. dedupe-check 情形2增强：同一 head_sha 的 push 流水线不只是在跑时去重， 已 success 完成时 PR 侧测试同样跳过（消除竞态窗口双跑）	2026-08-31 11:57:59 +08:00
xiaoxia	3bc850dc0f	fix(ci): 定时任务防僵尸自保——urlopen补超时+扫描墙钟上限+降频 ... P0修复：pr_auto_scan.py 的 api_request() 中 urlopen 无 timeout， 网络异常时永久阻塞（2026-08-30 实测卡死195分钟占满runner slot）， 而 Gitea 1.26.4 的 timeout-minutes 对卡死job不生效。 改动： 1. pr_auto_scan.py: urlopen 加 timeout=15s + URLError/socket.timeout 异常捕获(返回599)；新增 --max-wall-seconds(默认240s)墙钟上限， 到点主动退出；merge_pr 的 sleep(30) 改为可中断轮询 2. acr_cleanup.py: 7处 urlopen 补 timeout=30s（生产清理链路同款隐患） 3. auto_fix_formatting.py: 5处 urlopen 补 timeout=15s 4. pr-auto-scan.yml / ci-trigger-monitor.yml: schedule 从 */5 降到 */10， 24h运行次数各减半(288→144)，监控告警阈值同步为10分钟	2026-08-31 11:28:10 +08:00
xiaoxia	301b591037	fix(test): 清理 sys.modules 时保留 video_processing.* 模块 ... 清理逻辑跳过 video_processing.* 前缀的模块，确保 patch() 字符串 目标解析到的模块对象与 ingest_mod 内部引用的一致，避免 mock 失效。 修复 AI Code Review 阻塞级问题。	2026-08-31 11:11:43 +08:00
xiaoxia	8d8b565499	fix(test): upload_to_oss patcher 改用字符串目标，修复 ingest.py 局部 import 不生效 ... patch.object(_oss_helpers_real, ...) 对 ingest.py 函数体内的 from video_processing.oss_helpers import upload_to_oss 不生效， 改为 patch("video_processing.oss_helpers.upload_to_oss", ...) 与 thumb patcher 策略一致，确保 patch.start() 时从 sys.modules 解析模块对象再打补丁。	2026-08-31 10:57:54 +08:00
xiaoxia	2662cd78fe	fix(test): thumb patcher 改回字符串目标 ... patch.object(_thumb_gen_real) 对 ingest.py 的局部 import 不生效 （模块对象可能不同），改回 patch(字符串目标) 从 sys.modules 取真实模块打补丁。 核心修复（不注入 video_processing mock 到 sys.modules）不变。	2026-08-31 09:23:19 +08:00
CI Bot	26856e1015	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-08-31 01:11:43 +00:00
xiaoxia	e5d7fddfcf	fix(test): hevc 转码测试不再注入 video_processing mock 到 sys.modules ... 根因：sys.modules 注入 video_processing.oss_helpers / thumbnail_generator 的 MagicMock 即使清理，仍因 video_processing/__init__.py 的 `from . import oss_helpers` 导致包属性残留为 MagicMock， 跨文件污染 test_oss_helpers_pure / test_oss_upload_crash_fix / test_p02_worker_oss_fix 等（39 个用例失败）。 修复：不再向 sys.modules 注入 video_processing.* mock，改为直接 import 真实模块后用 patch.object 打补丁（patch.stop 自动还原）。 worker_app.db / celery_app mock 保留（独立包树，不影响共享工具包）。	2026-08-31 09:04:05 +08:00
xiaoxia	d2098b03ab	fix(test): hevc 转码测试恢复 sys.modules 时删除全部 mock 条目（补 #1566 漏修） (#1567) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 02:51:01 +08:00
xiaoxia	40eca5e83f	fix(web): 上传按钮模式+卡片文字重叠+AI配音时长+smart-match结构兼容 (#1564) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 02:06:03 +08:00
xiaoxia	4cf6f222ed	fix(test): test_ingest_hevc_transcode_task 模块级 mock 用后清理，修复跨文件 mock 污染 (#1566) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 01:36:01 +08:00
xiaoxia	0fde7d687c	fix(test): test_dedup_engine 不再 mock packages.shared 父包，修复 50 个 thumbnail 单测被 mock 污染 (#1563) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 00:36:06 +08:00
xiaoxia	fb197e8386	fix(assets): 骨架屏网格列数同步真实网格(6列)+响应式断点对齐 (#1560) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-30 22:21:01 +08:00