37 Commits

Author	SHA1	Message	Date
xiaoxia	67a1ed6430	feat(#1894): 清理文案库多余字段 / 废弃标题库 API / 旧定价档位清理 (#1968) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-16 18:58:04 +08:00
xiaoxia	29ca51da9c	fix(web): 烤入所有 nginx 配置，按 APP_ENV 运行时切换，彻底解决 staging/prod 配置错乱 (#1853) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-11 09:02:01 +08:00
xiaoxia	54defa4429	fix: Worker health check 扫描全部 /proc 进程修复 unhealthy 误判 ... 问题：Worker 容器内无 pgrep/ps 工具，旧 health check 使用 'grep -q celery /proc/1/cmdline' 检查 PID 1 的 cmdline， 但 PID 1 是 entrypoint-worker.sh（bash 脚本），不含 celery 关键字， 导致 health check 永远返回 unhealthy。 同时部署脚本中 sh -c 嵌套引号导致 $pid 变量被外层 shell 提前展开为空。 修复：改用 grep -lq celery /proc/[0-9]*/cmdline 扫描所有进程 cmdline， 找到任意 celery 进程即判定 healthy。无需变量、无嵌套 shell、无 pgrep 依赖。 影响文件： - infra/docker/compose.yml - infra/docker/deploy-staging-registry.sh - infra/docker/deploy-production-registry.sh	2026-09-09 18:42:17 +08:00
CI Bot	e4ac398397	fix: Worker 健康检查彻底修复 - 移除不可用的 pgrep 和 PID1 检查 ... 根因：#1714 队列隔离后 entrypoint 启动两个 celery worker 子进程， PID 1 变为 bash。旧健康检查依赖 pgrep（容器内不存在）或 /proc/1/cmdline（PID 1 是 bash 不是 celery），永远返回失败。 此前靠 cron 脚本 fix-worker-healthcheck.sh 每 30 分钟擦屁股。 修复：统一改为扫描 /proc/[0-9]*/cmdline 查找 celery 进程， 覆盖所有部署/回滚/CI 脚本（10 处替换）。已移除 cron 补丁。	2026-09-08 19:07:37 +08:00
saas-backend-bot	df99305dd6	feat(worker): celery 队列隔离 + 孤儿任务消息作废 (#1714) ... 问题：素材转码与视频生成共用 celery 默认队列、worker 单进程消费， 20+ 转码积压会把用户生成任务堵 40 分钟以上；孤儿清理把任务标 failed 后 Redis 队列消息未作废，消息被重投导致 failed→running 非法转换， worker 打印 ERROR 后继续产出半成品。 队列隔离： - 新增 packages/shared/celery_queues.py：generation/transcode/celery 三队列与 task_routes（generate_video→generation；ingest_asset/ classify_asset/duplication→transcode），apply_queue_settings() - worker 入口改双进程：generation worker 独占队列并内嵌 beat （prefetch=1, GENERATION_CONCURRENCY 默认 2），transcode worker 消费 transcode,celery（并发=总-2，最小 1），任一退出则整体终止 - compose/部署脚本/ps1 同步新增 GENERATION_CONCURRENCY 与健康检查 消息作废： - 新增 packages/shared/celery_orphan_guard.py：终态守卫 ensure_task_claimable、Redis 队列消息物理清理（JSON 信封解析， 按业务 id + celery headers.id 双匹配，未命中 rpush 保序）、 revoke_and_purge（control.revoke + 物理清队列双保险） - 入队点（生成/上传/分片/重试）send_task 后持久化 celery_task_id 到 generation_tasks/ingest_jobs（新列，067 迁移，失败仅 warning） - generate_video/ingest_asset 执行前校验 DB 状态：终态直接 discarded 不进业务逻辑；mark_processing 返回 False（非法转换）安全中止 - 孤儿/超时清理标 failed 时同时 revoke + 清队列消息 - pending 超时阈值 15→45 分钟，与 running 孤儿(20min)区分 测试：新增 22 个单测（路由表/真实 Redis 消息清理/终态守卫/ 非法转换中止/标 failed 后消息不重投/入队持久化），全量 14301 passed；067 迁移隔离 DDL 验证 upgrade/downgrade 通过。	2026-09-05 19:07:47 +08:00
xiaoxia	0e2dd60a8d	fix(infra): web 容器运行时覆盖 nginx 配置，防止环境错配 (#1645) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-03 15:33:20 +08:00
xiaoxia	7eecabaf3d	feat(deploy): 添加环境配置模板 + 修复 compose 路径 bug ... - 新增 deploy/configs/.env.staging — Staging 环境配置模板（含 MinIO） - 新增 deploy/configs/.env.production — Production 环境配置模板（无 MinIO） - 新增 deploy/configs/nginx-staging.conf — Staging Nginx 配置 - 新增 deploy/configs/nginx-production.conf — Production Nginx 配置 - 修复 infra/docker/compose.yml: GENERATED_FILES_HOST_DIR 去掉默认值， 改为 ?: 语法强制要求显式设置，防止 Production 静默指向 staging 目录 - 更新 .gitignore: 为 deploy/configs/ 下的模板文件添加例外	2026-09-02 15:25:27 +08:00
xiaoxia	cd8f162b17	fix: CI 部署脚本增加 graceful shutdown，避免杀死正在处理的任务 (#1333)	2026-08-10 14:02:45 +08:00
xiaoxia	248fd5408c	feat: 预览数量 preview_count 上限校验 + Worker 并发提升至 4 (#1292)	2026-08-08 11:14:45 +08:00
xiaoxia	a5f1d9685d	refactor(phase3): Docker 网络隔离 staging/production 环境 ... - compose.yml: 网络名根据 ENV 变量区分 (xiaoxia-net-staging/xiaoxia-net-production) - infra-production.yml: 使用 xiaoxia-net-production 网络 - infra.yml: 使用 xiaoxia-net-staging 网络 - 新增 nginx-staging.conf (proxy_pass -> xiaoxia-api-staging:8000) - 新增 nginx-production.conf (proxy_pass -> xiaoxia-api-production:8000) - nginx.conf 更新为 production 默认配置 - web-artifact.Dockerfile: 添加 ARG NGINX_CONF 支持构建时选择 nginx 配置 - deploy-staging.sh: 添加 ENV=staging、网络创建、nginx 配置选择 - deploy-production.sh: 添加 ENV=production、网络创建 - deploy.yml: CI 构建传入 NGINX_CONF 参数、远程部署脚本添加网络创建 - deploy.yml: 冒烟测试添加网络隔离验证	2026-07-03 15:09:54 +08:00
部署Agent	ae20d5137a	fix(infra): 修复 worker healthcheck YAML 语法 & APP_VERSION 添加默认值 ... - Worker healthcheck: 原 python3 单引号嵌套导致 YAML 解析错误，改用 grep -q celery /proc/1/cmdline - APP_VERSION: 添加 :-unknown 默认值，防止变量缺失时健康检查端点崩溃	2026-07-03 11:13:21 +08:00
xiaoxia	7fc72f5888	fix(worker): 修复 healthcheck，容器无 pgrep 改用 Python 检查进程	2026-07-03 00:06:32 +08:00
灵应	f243a723c4	fix(worker): 修复 healthcheck 配置，改用进程检查替代 celery inspect ping ... - 修正 celery app 路径错误（app.celery_app → worker_app.celery_app） - celery inspect ping 依赖 broker 连接，容器内不可靠 - 改用 pgrep -f 'celery.*worker' 进程检查，更稳定 - 调整 start_period 为 30s（与 API 容器保持一致风格）	2026-07-02 23:22:09 +08:00
灵应	e9b6fbcf2c	Merge remote-tracking branch 'origin/main' into develop ... # Conflicts: # infra/docker/api.Dockerfile	2026-07-02 19:27:52 +08:00
xiaoxia	c9f95ed5a6	fix: 添加容器日志轮转配置和 Worker 健康检查	2026-07-02 17:20:13 +08:00
CI Test	7d1d086c94	Merge develop → main: 端口绑定安全修复 + CI workflow同步	2026-06-30 23:00:42 +08:00
CI Test	4b8605c679	security: 端口绑定限制为 127.0.0.1 (API/Web)	2026-06-30 22:59:32 +08:00
xiaoxia	18873e9db9	fix: 修复 APP_VERSION 环境变量读取 - 从 env_file 中读取而非使用默认值	2026-06-29 07:22:26 +08:00
xiaoxia	d3fce20921	fix(compose): remove conflicting mem_limit, consolidate to deploy.resources.limits	2026-06-29 04:18:41 +08:00
CI Test	3292a5d655	fix: 持久化 api/worker 容器内存限制，改用 mem_limit: 2g 替代 deploy.resources.limits.memory	2026-06-28 11:19:50 +08:00
CI Test	ec96feee22	fix(deploy): Worker 容器内存限制从 4G 降至 2G ... - Worker 实际内存使用仅 ~156MiB，4G 限制远超需求 - 业务服务器总内存仅 1.7Gi，过高限制影响其他容器 - 2G 限制已足够应对视频处理峰值需求	2026-06-28 10:30:09 +08:00
xiaoxia	a5c5da50c6	fix: 修复 jwt_service.py 错误的 settings 导入路径导致登录 401 ... - packages.config.settings 模块不存在，改为 from app.config import settings - 此 bug 导致 JWT token 生成时 ModuleNotFoundError，被 except 捕获后返回通用 401	2026-06-27 17:17:38 +08:00
Deploy Agent	78e1af1054	feat: 标准化部署流程和文档化 ... - 添加 docs/deployment.md 完整部署文档，包含： - 环境要求 - 首次部署流程 - 版本更新流程 - 回滚流程 - 常见问题排查 - 环境变量说明 - 添加标准化部署脚本： - scripts/deploy_production.sh: 生产环境部署脚本 - scripts/deploy_staging.sh: 预发布环境部署脚本 - scripts/rollback.sh: 回滚脚本（支持交互式和命令行模式） - 完善 infra/docker/compose.yml： - 添加详细注释说明 - 添加资源限制建议（注释） - 记录 web volume 挂载的注意事项（避免 403 问题） - 添加 .github/workflows/release.yml： - 完整的发布流程 - 构建所有三个镜像（api、worker、web） - 自动部署到生产环境 - E2E 测试和 GitHub Release 创建	2026-06-27 00:09:46 +08:00
Xiaoxia AI	816d98175a	fix(ops): expose release version and limit worker concurrency	2026-06-23 07:52:19 +08:00
Xiaoxia AI	1cf43fa6a0	fix(deploy): isolate production web api proxy	2026-06-22 10:02:03 +08:00
Xiaoxia AI	1939878dec	fix(deploy): require prebuilt web artifact for production	2026-06-22 09:34:27 +08:00
Xiaoxia AI	6d68c28860	chore(release): validate production env readiness	2026-06-21 12:34:51 +08:00
Xiaoxia AI	e61dfc27f6	refactor(deploy): freeze canonical docker entrypoint	2026-06-21 05:09:21 +08:00
Xiaoxia AI	c93e064f3b	fix(deploy): bind generated files to host path	2026-06-20 23:44:00 +08:00
Xiaoxia AI	bcfad4ad6a	fix(deploy): expose generated video files	2026-06-20 23:40:47 +08:00
Xiaoxia AI	1e3a52fa17	fix(worker): persist generated mp4 without oss	2026-06-20 23:17:52 +08:00
Xiaoxia AI	d31c62d4e2	fix(deploy): align deployment with split infrastructure	2026-06-20 19:02:48 +08:00
Xiaoxia AI	94dd60108c	refactor: 彻底迁移到阿里云 OSS 并重构基础设施 ... - 删除 MinIO 依赖，改用阿里云 OSS (oss2) - 重写存储服务 storage.py（完全兼容原接口） - 更新配置：config.py 改为 OSS_* 配置项 - 重构 Docker Compose：分离基础设施（infra.yml）和应用（compose.yml） - 添加健康检查和自动重启配置 - 创建标准化部署脚本（init-server.sh + deploy.sh） - 统一 Nginx 配置（主域名 api.xiaoxiajianji.com） - 修复 Web Dockerfile 端口映射（80 not 3000） 服务器清理完成： - 删除旧云控制台、监控系统、桌面版代码 - 删除 2.6GB 旧安装包 - 清理 Docker 缓存 2.5GB - 磁盘使用率从 48% 降至 26%	2026-06-20 15:24:24 +08:00
Xiaoxia AI	9fe0614d43	feat: add deployment configs, systemd service, and tracker init scripts	2026-06-16 22:01:24 +08:00
Xiaoxia AI	f69e649c7f	chore: wire real host-based gitea deploy	2026-06-15 19:58:11 +08:00
Xiaoxia AI	4475677763	chore: wire deployment to environment-based configuration	2026-06-15 18:40:56 +08:00
Xiaoxia AI	b5a62ee9a3	feat: initial SaaS scaffold ... - domain: User, Workspace, Project, AssetLibrary, Asset, IngestJob - ports: repository interfaces - application: use cases - adapters: in-memory - API: FastAPI 5 routes - worker: Celery ingest_asset - tests: 4 passing	2026-06-15 15:17:40 +08:00