137 Commits

Author	SHA1	Message	Date
xiaoxia	5a5c653d2c	feat(cleanup): pending 任务自动清理，防止队列占满 (#1463)	2026-08-23 12:55:39 +08:00
CI Bot	f6b50b49ec	fix(cover): worker local ffmpeg cover frames + title overlay for source-asset fallback ... 问题： 1. 之前 Worker 用 MediaKit 网络抽帧写 cover_url，因状态字符串 bug（#1461 已修） 一直失败；且在 API 请求内同步抽帧易超时。 2. 封面从源素材抽取时无标题（源素材未烧录标题）。 修复： 1. Worker 渲染完成后直接复用 RenderAdapter 已用本地 ffmpeg 抽出的 cover_candidates： - _render_video 返回值改为 (output_path, render_duration, cover_candidates) - 第一帧写入 gen_task.cover_url，完整列表写入 metadata.cover_candidates - 删除步骤 4.5 的 MediaKit 抽帧代码（不依赖网络，不阻塞） 2. 标题叠加： - 新增 packages/shared/title_overlay.py，Pillow 绘制白色文字+黑色描边/阴影， 支持 CJK 字体和自动换行（API/Worker 共用） - thumbnail_generator.extract_and_upload_cover_frames 的 title_text 参数真正生效 - render_adapter 从已渲染视频抽帧时传空 title_text（标题已 ASS 烧录，避免重影） - 封面 API E2 从源素材抽帧后，从 plan.config.title.text 读取标题并叠加 3. API 基础镜像增加 Pillow 和 fonts-noto-cjk（E2 标题叠加依赖） 测试：新增 test_title_overlay.py（5）、E2 标题透传测试，更新 1294 解包； 相关 51 passed。	2026-08-23 10:28:52 +08:00
xiaoxia	c21c0fb748	perf(worker): optimize worker image build with unified base image (#1430)	2026-08-18 23:04:43 +08:00
xiaoxia	8f1d6f20d9	fix(api): add /app/apps/api to PYTHONPATH in api.Dockerfile (#1427) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-18 20:46:00 +08:00
xiaoxia	4bb1c4205d	perf: 删除 psycopg2-binary 依赖 + 预构建 API 基础镜像 (#1422) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-18 18:06:01 +08:00
xiaoxia	ff3f6ddf97	fix: Worker容器安装CJK中文字体 — 修复ASS字幕标题不渲染 (#1400)	2026-08-17 12:10:40 +08:00
xiaoxia	0896f3e161	fix: add ffmpeg to API runtime image for cover fallback (#1362) ... fix: add ffmpeg to API runtime image for cover fallback (#1362)	2026-08-13 21:40:22 +08:00
CI Bot	314579581b	fix: 删除 worker entrypoint 中无效的 -W 参数，修复 worker 启动崩溃 ... Celery 5.4.0 不支持 -W 选项，导致 worker 容器反复重启（Restarting）。 此参数是 PR #1333 误加，删除后恢复正常的 graceful shutdown 行为。	2026-08-10 19:01:31 +08:00
xiaoxia	cd8f162b17	fix: CI 部署脚本增加 graceful shutdown，避免杀死正在处理的任务 (#1333)	2026-08-10 14:02:45 +08:00
xiaoxia	563131917e	fix: Worker 并发默认值从 1 改为 4 ... deploy-staging-registry.sh / deploy-production.sh / deploy-production-registry.sh 三处 WORKER_CONCURRENCY 统一改为从环境变量读取，默认值 4。 此前硬编码为 1，导致 staging 和 production 各只有 1 个 Worker 并发， 与 PR #1292 的预期（4 并发）不符。	2026-08-08 14:23:12 +08:00
xiaoxia	248fd5408c	feat: 预览数量 preview_count 上限校验 + Worker 并发提升至 4 (#1292)	2026-08-08 11:14:45 +08:00
xiaoxia	36d590e55a	fix(ci): 修复npm registry配置 + package-lock.json同步 + pro套餐测试 (#1264) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-07 18:11:01 +08:00
前端Agent	df38778875	fix: 禁止浏览器缓存 index.html，防止部署后旧 chunk 引用导致白屏 ... - nginx.conf 和 nginx-staging.conf 新增 location = /index.html 精确匹配块 - 设置 Cache-Control: no-cache, no-store, must-revalidate - 设置 Pragma: no-cache 和 expires 0 - 确保每次部署后浏览器获取最新的 index.html（含新 chunk hash）	2026-08-01 18:19:50 +08:00
xiaoxia	3cbefef773	fix(ci): vitest增量无测试文件视为通过 + ci-base添加git	2026-08-01 15:37:47 +08:00
xiaoxia	49a56afc51	fix(ci): 添加docker CLI到ci-base镜像，支持buildx构建	2026-08-01 01:45:07 +08:00
xiaoxia	24995e01d3	fix(ci): Dockerfile添加阿里云apt源替换，加速构建	2026-08-01 00:32:42 +08:00
xiaoxia	f7284534bc	fix(ci): ci-base镜像添加libpq-dev/nodejs/npm，预装requirements-base.txt	2026-08-01 00:26:38 +08:00
xiaoxia	90a39d74ff	fix(ci): ci-base镜像添加curl，修复checkout步骤静默失败 ... ci-base镜像缺少curl导致checkout步骤(curl|bash)静默失败， 所有后续步骤因代码未检出而失败。添加curl安装并使用阿里云pip镜像加速构建。	2026-07-31 21:56:43 +08:00
xiaoxia	a62cadf654	fix(ci): 更新ci.Dockerfile - 移除已删除的requirements-quality.txt，flake8替换为ruff ... - requirements-quality.txt已合并到requirements-dev.txt - flake8已被ruff替代（lint工具升级） - 保持与实际构建的ci-base镜像一致	2026-07-31 19:35:07 +08:00
xiaoxia	58fe71c483	PR #832: Worker基础镜像三级缓存策略优化 + 测试环境变量污染修复 ... perf(ci): Worker基础镜像三级缓存策略优化 + 单元测试环境变量污染修复 - 三级缓存策略：L1本地daemon / L2 Gitea Registry / L3本地构建+推送 - 修复pre-build镜像tag与Dockerfile FROM地址不一致的bug - worker.Dockerfile层顺序优化，变化少的文件放前面 - 修复test_api_settings.py autouse fixture环境变量污染 （JWT_SECRET_KEY/DATABASE_URL被pop后影响后续测试模块）	2026-07-24 19:04:19 +08:00
xiaoxia	ed061aae3e	fix: worker基础镜像改用阿里云ACR，提升pull速度	2026-07-22 11:20:28 +08:00
xiaoxia	e0c3bae072	ci: Worker镜像分层缓存优化，基础镜像预构建预计节省70%构建时间	2026-07-22 09:08:44 +08:00
xiaoxia	44402f01d6	fix(worker): ffmpeg改用apt安装，彻底解决下载慢+缓存+语法+清理问题 (#689) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-21 22:19:55 +08:00
xiaoxia	c424ffcc66	fix(worker): ffmpeg下载脚本改为纯sh兼容，修复dash数组语法错误 (#688) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-21 20:20:55 +08:00
xiaoxia	cd27bd087f	fix(worker): ffmpeg下载增加完整性校验+多源重试+坏包自动清缓存 (#686) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-21 19:56:53 +08:00
xiaoxia	faf018030f	perf(ci): Dockerfile优化 - cache mount加速 + API多阶段瘦身 (#679) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-21 14:00:29 +08:00
xiaoxia	b9df592148	fix(ci): Web构建改用layer缓存替代cache mount，根治node_modules缓存损坏 (#521) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-07-18 16:05:11 +08:00
xiaoxia	84d1673d31	feat(ci): 前端构建缓存优化 - 去重+BuildKit cache mount ... PR #427: 删除host上重复的前端构建步骤，web.Dockerfile加BuildKit cache mount（npm下载+node_modules+TS增量编译三级缓存），预计Web构建降40%-60%。	2026-07-17 00:59:54 +08:00
xiaoxia	535e525a0e	fix(worker): 修复瘦身后shared模块无法导入的PYTHONPATH问题 ... PR #343: 修复Worker镜像瘦身后shared模块无法导入的PYTHONPATH问题 将ENV PYTHONPATH=/app改为ENV PYTHONPATH=/app:/app/packages，解决ModuleNotFoundError: No module named "shared"问题。	2026-07-15 09:16:35 +08:00
xiaoxia	ca8b945054	perf(ci): Worker镜像瘦身 - 多阶段构建+ffmpeg静态替换+Python依赖瘦身	2026-07-15 07:49:15 +08:00
xiaoxia	fecc786d4a	feat(worker): 支持 WORKER_CONCURRENCY 环境变量控制 Celery 并发数 (#208)	2026-07-10 22:07:41 +08:00
xiaoxia	4ab641f765	feat(docker): 将 APP_VERSION 构建进镜像，解决 Watchtower 更新后版本号显示不准的问题 (#200)	2026-07-10 22:07:25 +08:00
lingying	1bc3ff855f	fix(docker): 修复 worker 镜像在 Debian Trixie 下构建失败 ... - libgl1-mesa-glx 在 Debian 13 (Trixie) 中已被移除 - 替换为 libgl1，兼容 Bookworm 和 Trixie	2026-07-08 21:58:53 +08:00
lingying	92c71fa57b	ci(foundation): 所有Dockerfile基础镜像替换为私有Registry ... - api/worker/ci: python:3.12-slim -> 私有Registry - web/node: node:20 -> 私有Registry - web/nginx: nginx:alpine -> 私有Registry - 彻底摆脱公网镜像依赖，构建更快更稳	2026-07-08 20:34:28 +08:00
CI Test	7dc92191e0	test: watchtower自动更新验证（仅加注释）	2026-07-07 21:55:55 +08:00
CI Test	5028956cea	ci: staging部署接入Watchtower自动更新 ... - staging构建额外打:staging tag并push到Registry - staging容器加com.centurylinklabs.watchtower.enable=true标签 - 容器用完整Registry路径+:staging tag启动，供Watchtower监控 - 1分钟轮询，自动检测新镜像并重启	2026-07-07 21:49:28 +08:00
CI Test	d72450f42d	ci: production deploy改为Registry方式，去掉tar/scp/docker load ... - 新增 deploy-production-registry.sh（纯Registry pull + docker run） - 去掉源码tar打包和scp传输步骤 - nginx-production.conf 添加assets fallback（部署期间缓存用户不404） - legacy assets自动清理（保留7天）	2026-07-07 21:35:15 +08:00
CI Test	1ed0d5aa75	fix: staging deploy script health-check url missing quotes	2026-07-07 21:09:28 +08:00
CI Test	d99ee6fc84	ci: staging deploy改为Registry方式，去掉tar/scp/docker load	2026-07-07 20:52:01 +08:00
DevOps Bot	e6dfeafb85	ci: 优化生产镜像部署 - 改用Registry push/pull替代tar+scp\n\n- build_release_images.sh: 增加web镜像buildx缓存构建 + push到Gitea Registry\n- deploy-production.sh: 改用docker pull从Registry拉取镜像，替代docker load\n- ci-cd.yml: 简化build-production和deploy-production job\n - 移除docker save + scp传镜像tar的流程\n - 仅保留源码tar.gz scp（compose/migration脚本需要）\n - web镜像构建合并到build_release_images.sh统一管理	2026-07-06 19:20:03 +08:00
灵应	bf6ae9c430	refactor: API/Worker 依赖拆分 - 移除 API 镜像中的重依赖 ... - 新建 requirements-worker.txt，包含 numpy/scipy/opencv/Pillow/ffmpeg-python - requirements-base.txt 移除视频处理大包，仅保留公共基础依赖 - worker.Dockerfile 新增 requirements-worker.txt 安装层 - API Dockerfile 无需修改，自动不再包含重包 - 验证：API/packages 代码无 numpy/scipy/cv2 导入 - 全量测试 994 passed, 0 failed Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-05 14:54:04 +08:00
xiaoxia	efb9d6c57f	fix: nginx SPA路由移除$uri/，避免/assets等路径被当成静态目录返回403 ... 问题根因： - try_files $uri $uri/ /index.html 中的 $uri/ 会匹配与构建产物目录同名的路由 - Vite 默认将静态资源放在 assets/ 目录下 - 访问 /assets 时，$uri/ 匹配到 assets/ 目录，Nginx 尝试目录访问返回 403 - 类似的路径冲突还有 /dashboard /history 等如果有同名目录也会出问题 修复方案： - 移除 $uri/，改为 try_files $uri /index.html - 真实存在的静态文件（如 /assets/index-abc.js）仍然能通过 $uri 正确返回 - 前端路由路径统一 fallback 到 index.html 由 SPA 路由处理 影响范围：nginx.conf / nginx-production.conf / nginx-staging.conf 三个文件	2026-07-04 17:30:49 +08:00
xiaoxia	7e87e7e985	fix: infra.yml容器名加-staging后缀，与deploy脚本命名规范一致	2026-07-03 23:17:52 +08:00
xiaoxia	bd18acd040	fix: Deploy阶段全面修复 - E2E服务器错位/Worker venv统一/内网Registry登录/生产构建缓存	2026-07-03 20:59:29 +08:00
xiaoxia	bcb1663de4	ci: 启用BuildKit分布式缓存+Gitea Registry,优化构建速度 ... - 拆分 requirements.txt: 稳定大包放 requirements-base.txt（numpy/scipy/opencv/Pillow/sqlalchemy 等），业务依赖留 requirements.txt - 优化 Dockerfile: 分两层安装依赖，基础层缓存命中率高 - CI 改用 docker buildx build，缓存存 Gitea Container Registry - 启用 Gitea Packages/Container Registry（git.xiaoxiajianji.com） - 镜像仍推内网 Registry（172.30.18.198:5000），缓存独立存 Gitea Registry	2026-07-03 18:13:49 +08:00
xiaoxia	a5f1d9685d	refactor(phase3): Docker 网络隔离 staging/production 环境 ... - compose.yml: 网络名根据 ENV 变量区分 (xiaoxia-net-staging/xiaoxia-net-production) - infra-production.yml: 使用 xiaoxia-net-production 网络 - infra.yml: 使用 xiaoxia-net-staging 网络 - 新增 nginx-staging.conf (proxy_pass -> xiaoxia-api-staging:8000) - 新增 nginx-production.conf (proxy_pass -> xiaoxia-api-production:8000) - nginx.conf 更新为 production 默认配置 - web-artifact.Dockerfile: 添加 ARG NGINX_CONF 支持构建时选择 nginx 配置 - deploy-staging.sh: 添加 ENV=staging、网络创建、nginx 配置选择 - deploy-production.sh: 添加 ENV=production、网络创建 - deploy.yml: CI 构建传入 NGINX_CONF 参数、远程部署脚本添加网络创建 - deploy.yml: 冒烟测试添加网络隔离验证	2026-07-03 15:09:54 +08:00
xiaoxia	22c1085c4b	fix: 永久修复 nginx proxy_pass 配置 ... - staging nginx.conf: 使用静态 proxy_pass 替代变量型（避免 URI 丢失） - staging 指向容器名 xiaoxia-api-staging（避免 DNS 别名冲突） - 添加 proxy_read_timeout/proxy_send_timeout 300s（与 production 对齐） - web.Dockerfile: 支持 ARG NGINX_CONF 参数化（与 web-artifact.Dockerfile 一致） - production nginx-production.conf 已确认无需修改	2026-07-03 13:34:12 +08:00
CI Test	22ef893b6b	fix: add Docker DNS resolver to nginx - prevent 502 after API container restart ... - Add resolver 127.0.0.11 valid=10s for Docker internal DNS - Use variable-based proxy_pass to force DNS re-resolution - Prevents nginx from caching stale API container IP	2026-07-03 12:59:47 +08:00
部署Agent	ae20d5137a	fix(infra): 修复 worker healthcheck YAML 语法 & APP_VERSION 添加默认值 ... - Worker healthcheck: 原 python3 单引号嵌套导致 YAML 解析错误，改用 grep -q celery /proc/1/cmdline - APP_VERSION: 添加 :-unknown 默认值，防止变量缺失时健康检查端点崩溃	2026-07-03 11:13:21 +08:00
xiaoxia	7fc72f5888	fix(worker): 修复 healthcheck，容器无 pgrep 改用 Python 检查进程	2026-07-03 00:06:32 +08:00