146 Commits

Author	SHA1	Message	Date
saas-backend-bot	df99305dd6	feat(worker): celery 队列隔离 + 孤儿任务消息作废 (#1714) ... 问题：素材转码与视频生成共用 celery 默认队列、worker 单进程消费， 20+ 转码积压会把用户生成任务堵 40 分钟以上；孤儿清理把任务标 failed 后 Redis 队列消息未作废，消息被重投导致 failed→running 非法转换， worker 打印 ERROR 后继续产出半成品。 队列隔离： - 新增 packages/shared/celery_queues.py：generation/transcode/celery 三队列与 task_routes（generate_video→generation；ingest_asset/ classify_asset/duplication→transcode），apply_queue_settings() - worker 入口改双进程：generation worker 独占队列并内嵌 beat （prefetch=1, GENERATION_CONCURRENCY 默认 2），transcode worker 消费 transcode,celery（并发=总-2，最小 1），任一退出则整体终止 - compose/部署脚本/ps1 同步新增 GENERATION_CONCURRENCY 与健康检查 消息作废： - 新增 packages/shared/celery_orphan_guard.py：终态守卫 ensure_task_claimable、Redis 队列消息物理清理（JSON 信封解析， 按业务 id + celery headers.id 双匹配，未命中 rpush 保序）、 revoke_and_purge（control.revoke + 物理清队列双保险） - 入队点（生成/上传/分片/重试）send_task 后持久化 celery_task_id 到 generation_tasks/ingest_jobs（新列，067 迁移，失败仅 warning） - generate_video/ingest_asset 执行前校验 DB 状态：终态直接 discarded 不进业务逻辑；mark_processing 返回 False（非法转换）安全中止 - 孤儿/超时清理标 failed 时同时 revoke + 清队列消息 - pending 超时阈值 15→45 分钟，与 running 孤儿(20min)区分 测试：新增 22 个单测（路由表/真实 Redis 消息清理/终态守卫/ 非法转换中止/标 failed 后消息不重投/入队持久化），全量 14301 passed；067 迁移隔离 DDL 验证 upgrade/downgrade 通过。	2026-09-05 19:07:47 +08:00
xiaoxia	0e2dd60a8d	fix(infra): web 容器运行时覆盖 nginx 配置，防止环境错配 (#1645) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-03 15:33:20 +08:00
xiaoxia	7eecabaf3d	feat(deploy): 添加环境配置模板 + 修复 compose 路径 bug ... - 新增 deploy/configs/.env.staging — Staging 环境配置模板（含 MinIO） - 新增 deploy/configs/.env.production — Production 环境配置模板（无 MinIO） - 新增 deploy/configs/nginx-staging.conf — Staging Nginx 配置 - 新增 deploy/configs/nginx-production.conf — Production Nginx 配置 - 修复 infra/docker/compose.yml: GENERATED_FILES_HOST_DIR 去掉默认值， 改为 ?: 语法强制要求显式设置，防止 Production 静默指向 staging 目录 - 更新 .gitignore: 为 deploy/configs/ 下的模板文件添加例外	2026-09-02 15:25:27 +08:00
xiaoxia	ea51a8af26	perf(ci): ci-base 镜像预装 ffmpeg——消除 unit-tests 每次 24min apt 安装 ... unit-tests job 跑在全新容器里，ci-base 镜像未预装 ffmpeg， step_install_ffmpeg.sh 每次都 apt-get update + install ffmpeg， ffmpeg 拉取 x264/aom/systemd 等数百个编解码依赖，固定耗时约 24 分钟， pytest 本身 21-23 分钟，导致该 job 每次 45-50 分钟。 把 ffmpeg 预装到 ci-base 镜像后，step_install_ffmpeg.sh 检测到 ffmpeg 已存在会立即退出（exit 0），unit-tests 直接省掉 ~24 分钟。 注：ci-base 镜像需重建并推送 registry 后生效。	2026-09-01 00:32:53 +08:00
xiaoxia	bc9df316dc	fix(ci): Web 镜像 buildx 幽灵缓存防护——Git Tree Hash Cache Bust ... 问题：ci-builder-persist 持久化 builder 的 buildkit 层缓存偶尔出现'幽灵命中'： COPY apps/web/ ./ 步骤认为自己没变（实际文件已改），导致 vite build 不执行， 打出来的 Web 镜像前端文件是旧的。 修复原理： 把 apps/web/ 目录的 git tree hash 作为 build arg 传入 Dockerfile。 buildx 把 build arg 值作为缓存键的一部分，hash 变了 → RUN 步骤缓存失效 → vite build 必须重新执行。依赖层（npm ci）不受影响，仍然正常缓存。 改动： 1. web.Dockerfile：新增 ARG SOURCE_HASH，在构建步骤写入 .cache_bust 文件 2. docker_build_push.sh：Web 镜像构建时计算 git tree hash 并传入 3. docker_build_only.sh：同上 验证： - 合并后触发 push 到 develop - 查看 Build Staging Web Image 日志，确认输出 Web cache bust: SOURCE_HASH=xxxxx - 修改 apps/web/ 下文件再次 push，确认 SOURCE_HASH 值变化且 vite build 执行	2026-08-31 22:40:57 +08:00
xiaoxia	5482d3c58d	chore: 触发 base image 重建（ACR 推送重试）	2026-08-26 20:51:37 +08:00
xiaoxia	989f6046d8	fix: 字体文件改为仓库内预置，不再从 GitHub 下载 ... - 将 NotoSansSC-VF.ttf（17MB）提交到 infra/fonts/ - Dockerfile 改为 COPY 方式安装字体，彻底解决国内构建环境 无法稳定访问 GitHub 导致 base image 构建失败/超时的问题 - 同时修复 api-base 和 worker-base 两个 Dockerfile	2026-08-26 20:06:32 +08:00
xiaoxia	961aa4fe34	fix: Worker Base Image 构建重试 + GitHub 备用镜像 ... - curl 添加 --retry 3 --connect-timeout 30 - 主 URL 失败时自动回退到 ghfast.top 代理镜像 - 同时修复 api-base 和 worker-base 两个 Dockerfile	2026-08-26 19:34:40 +08:00
xiaoxia	3b0a29d850	fix: 修复 Noto Sans CJK SC Bold 字体混入 Mono 等宽变体问题 (#1510)	2026-08-26 19:11:59 +08:00
xiaoxia	5a5c653d2c	feat(cleanup): pending 任务自动清理，防止队列占满 (#1463)	2026-08-23 12:55:39 +08:00
CI Bot	f6b50b49ec	fix(cover): worker local ffmpeg cover frames + title overlay for source-asset fallback ... 问题： 1. 之前 Worker 用 MediaKit 网络抽帧写 cover_url，因状态字符串 bug（#1461 已修） 一直失败；且在 API 请求内同步抽帧易超时。 2. 封面从源素材抽取时无标题（源素材未烧录标题）。 修复： 1. Worker 渲染完成后直接复用 RenderAdapter 已用本地 ffmpeg 抽出的 cover_candidates： - _render_video 返回值改为 (output_path, render_duration, cover_candidates) - 第一帧写入 gen_task.cover_url，完整列表写入 metadata.cover_candidates - 删除步骤 4.5 的 MediaKit 抽帧代码（不依赖网络，不阻塞） 2. 标题叠加： - 新增 packages/shared/title_overlay.py，Pillow 绘制白色文字+黑色描边/阴影， 支持 CJK 字体和自动换行（API/Worker 共用） - thumbnail_generator.extract_and_upload_cover_frames 的 title_text 参数真正生效 - render_adapter 从已渲染视频抽帧时传空 title_text（标题已 ASS 烧录，避免重影） - 封面 API E2 从源素材抽帧后，从 plan.config.title.text 读取标题并叠加 3. API 基础镜像增加 Pillow 和 fonts-noto-cjk（E2 标题叠加依赖） 测试：新增 test_title_overlay.py（5）、E2 标题透传测试，更新 1294 解包； 相关 51 passed。	2026-08-23 10:28:52 +08:00
xiaoxia	c21c0fb748	perf(worker): optimize worker image build with unified base image (#1430)	2026-08-18 23:04:43 +08:00
xiaoxia	8f1d6f20d9	fix(api): add /app/apps/api to PYTHONPATH in api.Dockerfile (#1427) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-18 20:46:00 +08:00
xiaoxia	4bb1c4205d	perf: 删除 psycopg2-binary 依赖 + 预构建 API 基础镜像 (#1422) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-18 18:06:01 +08:00
xiaoxia	ff3f6ddf97	fix: Worker容器安装CJK中文字体 — 修复ASS字幕标题不渲染 (#1400)	2026-08-17 12:10:40 +08:00
xiaoxia	0896f3e161	fix: add ffmpeg to API runtime image for cover fallback (#1362) ... fix: add ffmpeg to API runtime image for cover fallback (#1362)	2026-08-13 21:40:22 +08:00
CI Bot	314579581b	fix: 删除 worker entrypoint 中无效的 -W 参数，修复 worker 启动崩溃 ... Celery 5.4.0 不支持 -W 选项，导致 worker 容器反复重启（Restarting）。 此参数是 PR #1333 误加，删除后恢复正常的 graceful shutdown 行为。	2026-08-10 19:01:31 +08:00
xiaoxia	cd8f162b17	fix: CI 部署脚本增加 graceful shutdown，避免杀死正在处理的任务 (#1333)	2026-08-10 14:02:45 +08:00
xiaoxia	563131917e	fix: Worker 并发默认值从 1 改为 4 ... deploy-staging-registry.sh / deploy-production.sh / deploy-production-registry.sh 三处 WORKER_CONCURRENCY 统一改为从环境变量读取，默认值 4。 此前硬编码为 1，导致 staging 和 production 各只有 1 个 Worker 并发， 与 PR #1292 的预期（4 并发）不符。	2026-08-08 14:23:12 +08:00
xiaoxia	248fd5408c	feat: 预览数量 preview_count 上限校验 + Worker 并发提升至 4 (#1292)	2026-08-08 11:14:45 +08:00
xiaoxia	36d590e55a	fix(ci): 修复npm registry配置 + package-lock.json同步 + pro套餐测试 (#1264) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-07 18:11:01 +08:00
前端Agent	df38778875	fix: 禁止浏览器缓存 index.html，防止部署后旧 chunk 引用导致白屏 ... - nginx.conf 和 nginx-staging.conf 新增 location = /index.html 精确匹配块 - 设置 Cache-Control: no-cache, no-store, must-revalidate - 设置 Pragma: no-cache 和 expires 0 - 确保每次部署后浏览器获取最新的 index.html（含新 chunk hash）	2026-08-01 18:19:50 +08:00
xiaoxia	3cbefef773	fix(ci): vitest增量无测试文件视为通过 + ci-base添加git	2026-08-01 15:37:47 +08:00
xiaoxia	49a56afc51	fix(ci): 添加docker CLI到ci-base镜像，支持buildx构建	2026-08-01 01:45:07 +08:00
xiaoxia	24995e01d3	fix(ci): Dockerfile添加阿里云apt源替换，加速构建	2026-08-01 00:32:42 +08:00
xiaoxia	f7284534bc	fix(ci): ci-base镜像添加libpq-dev/nodejs/npm，预装requirements-base.txt	2026-08-01 00:26:38 +08:00
xiaoxia	90a39d74ff	fix(ci): ci-base镜像添加curl，修复checkout步骤静默失败 ... ci-base镜像缺少curl导致checkout步骤(curl|bash)静默失败， 所有后续步骤因代码未检出而失败。添加curl安装并使用阿里云pip镜像加速构建。	2026-07-31 21:56:43 +08:00
xiaoxia	a62cadf654	fix(ci): 更新ci.Dockerfile - 移除已删除的requirements-quality.txt，flake8替换为ruff ... - requirements-quality.txt已合并到requirements-dev.txt - flake8已被ruff替代（lint工具升级） - 保持与实际构建的ci-base镜像一致	2026-07-31 19:35:07 +08:00
xiaoxia	58fe71c483	PR #832: Worker基础镜像三级缓存策略优化 + 测试环境变量污染修复 ... perf(ci): Worker基础镜像三级缓存策略优化 + 单元测试环境变量污染修复 - 三级缓存策略：L1本地daemon / L2 Gitea Registry / L3本地构建+推送 - 修复pre-build镜像tag与Dockerfile FROM地址不一致的bug - worker.Dockerfile层顺序优化，变化少的文件放前面 - 修复test_api_settings.py autouse fixture环境变量污染 （JWT_SECRET_KEY/DATABASE_URL被pop后影响后续测试模块）	2026-07-24 19:04:19 +08:00
xiaoxia	ed061aae3e	fix: worker基础镜像改用阿里云ACR，提升pull速度	2026-07-22 11:20:28 +08:00
xiaoxia	e0c3bae072	ci: Worker镜像分层缓存优化，基础镜像预构建预计节省70%构建时间	2026-07-22 09:08:44 +08:00
xiaoxia	44402f01d6	fix(worker): ffmpeg改用apt安装，彻底解决下载慢+缓存+语法+清理问题 (#689) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-21 22:19:55 +08:00
xiaoxia	c424ffcc66	fix(worker): ffmpeg下载脚本改为纯sh兼容，修复dash数组语法错误 (#688) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-21 20:20:55 +08:00
xiaoxia	cd27bd087f	fix(worker): ffmpeg下载增加完整性校验+多源重试+坏包自动清缓存 (#686) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-21 19:56:53 +08:00
xiaoxia	faf018030f	perf(ci): Dockerfile优化 - cache mount加速 + API多阶段瘦身 (#679) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-21 14:00:29 +08:00
xiaoxia	b9df592148	fix(ci): Web构建改用layer缓存替代cache mount，根治node_modules缓存损坏 (#521) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-18 16:05:11 +08:00
xiaoxia	84d1673d31	feat(ci): 前端构建缓存优化 - 去重+BuildKit cache mount ... PR #427: 删除host上重复的前端构建步骤，web.Dockerfile加BuildKit cache mount（npm下载+node_modules+TS增量编译三级缓存），预计Web构建降40%-60%。	2026-07-17 00:59:54 +08:00
xiaoxia	535e525a0e	fix(worker): 修复瘦身后shared模块无法导入的PYTHONPATH问题 ... PR #343: 修复Worker镜像瘦身后shared模块无法导入的PYTHONPATH问题 将ENV PYTHONPATH=/app改为ENV PYTHONPATH=/app:/app/packages，解决ModuleNotFoundError: No module named "shared"问题。	2026-07-15 09:16:35 +08:00
xiaoxia	ca8b945054	perf(ci): Worker镜像瘦身 - 多阶段构建+ffmpeg静态替换+Python依赖瘦身	2026-07-15 07:49:15 +08:00
xiaoxia	fecc786d4a	feat(worker): 支持 WORKER_CONCURRENCY 环境变量控制 Celery 并发数 (#208)	2026-07-10 22:07:41 +08:00
xiaoxia	4ab641f765	feat(docker): 将 APP_VERSION 构建进镜像，解决 Watchtower 更新后版本号显示不准的问题 (#200)	2026-07-10 22:07:25 +08:00
lingying	1bc3ff855f	fix(docker): 修复 worker 镜像在 Debian Trixie 下构建失败 ... - libgl1-mesa-glx 在 Debian 13 (Trixie) 中已被移除 - 替换为 libgl1，兼容 Bookworm 和 Trixie	2026-07-08 21:58:53 +08:00
lingying	92c71fa57b	ci(foundation): 所有Dockerfile基础镜像替换为私有Registry ... - api/worker/ci: python:3.12-slim -> 私有Registry - web/node: node:20 -> 私有Registry - web/nginx: nginx:alpine -> 私有Registry - 彻底摆脱公网镜像依赖，构建更快更稳	2026-07-08 20:34:28 +08:00
CI Test	7dc92191e0	test: watchtower自动更新验证（仅加注释）	2026-07-07 21:55:55 +08:00
CI Test	5028956cea	ci: staging部署接入Watchtower自动更新 ... - staging构建额外打:staging tag并push到Registry - staging容器加com.centurylinklabs.watchtower.enable=true标签 - 容器用完整Registry路径+:staging tag启动，供Watchtower监控 - 1分钟轮询，自动检测新镜像并重启	2026-07-07 21:49:28 +08:00
CI Test	d72450f42d	ci: production deploy改为Registry方式，去掉tar/scp/docker load ... - 新增 deploy-production-registry.sh（纯Registry pull + docker run） - 去掉源码tar打包和scp传输步骤 - nginx-production.conf 添加assets fallback（部署期间缓存用户不404） - legacy assets自动清理（保留7天）	2026-07-07 21:35:15 +08:00
CI Test	1ed0d5aa75	fix: staging deploy script health-check url missing quotes	2026-07-07 21:09:28 +08:00
CI Test	d99ee6fc84	ci: staging deploy改为Registry方式，去掉tar/scp/docker load	2026-07-07 20:52:01 +08:00
DevOps Bot	e6dfeafb85	ci: 优化生产镜像部署 - 改用Registry push/pull替代tar+scp\n\n- build_release_images.sh: 增加web镜像buildx缓存构建 + push到Gitea Registry\n- deploy-production.sh: 改用docker pull从Registry拉取镜像，替代docker load\n- ci-cd.yml: 简化build-production和deploy-production job\n - 移除docker save + scp传镜像tar的流程\n - 仅保留源码tar.gz scp（compose/migration脚本需要）\n - web镜像构建合并到build_release_images.sh统一管理	2026-07-06 19:20:03 +08:00
灵应	bf6ae9c430	refactor: API/Worker 依赖拆分 - 移除 API 镜像中的重依赖 ... - 新建 requirements-worker.txt，包含 numpy/scipy/opencv/Pillow/ffmpeg-python - requirements-base.txt 移除视频处理大包，仅保留公共基础依赖 - worker.Dockerfile 新增 requirements-worker.txt 安装层 - API Dockerfile 无需修改，自动不再包含重包 - 验证：API/packages 代码无 numpy/scipy/cv2 导入 - 全量测试 994 passed, 0 failed Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-05 14:54:04 +08:00