271 Commits

Author	SHA1	Message	Date
xiaoxia	65a77e3fb6	Merge branch 'feat/add-doubao-vision-model-env' into develop ... # Conflicts: # scripts/render_env.sh	2026-09-19 10:32:46 +08:00
xiaoxia	9a57b0d5b8	feat: add DOUBAO_VISION_MODEL env to staging/production deployment ... - Add DOUBAO_VISION_MODEL placeholder to .env.staging and .env.production - Add DOUBAO_VISION_MODEL to render_env.sh SHARED_SECRETS - Add DOUBAO_VISION_MODEL secret ref in ci-pipeline.yml (staging + production) - Uses existing endpoint ep-20260721114705-b568m which supports vision	2026-09-19 10:23:22 +08:00
xiaoxia	fbf8844f25	feat(gpu): #1978 MuseTalk GPU Worker 反向轮询对接（后端API + Worker脚本） (#1979) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-18 19:59:49 +08:00
xiaoxia	428b9eeb3b	chore(ci): 在CI secrets/env模板中添加TIKHUB_API_KEY和APIZERO_API_KEY ... - Gitea Actions Secrets已添加TIKHUB_API_KEY - render_env.sh SHARED_SECRETS增加两个新key - deploy/configs/.env.staging和.env.production模板增加三层兜底配置段 - ci-pipeline.yml的staging/production deploy步骤env中注入新secret	2026-09-17 22:36:44 +08:00
saas-backend-agent	605a3eb841	revert(ci): 回滚 ACR 默认域名切换（公共域名凭据无效，等待自定义域名恢复） ... 公共域名 registry.cn-hangzhou.aliyuncs.com 使用独立凭据， 现有 ACR_USERNAME/ACR_PASSWORD 绑定自定义域名企业版实例， docker login 报 unauthorized 无法拉/推镜像。 等 ACR 自定义域名 xiaoxia-registry 公网接入恢复后， 基于原有配置即可正常构建。	2026-09-17 07:45:05 +08:00
saas-backend-agent	30bf66b307	fix(ci): ACR 临时切回默认域名 registry.cn-hangzhou.aliyuncs.com（自定义域名 114.55.99.108:443 拒绝连接） ... - .gitea/workflows/*.yml: docker login/REGISTRY/ACR_IMAGE/ACR_REGISTRY - scripts/ci/*.sh, scripts/ci/*.py: ACR_REGISTRY/GRAY_REGISTRY/REGISTRY 默认值 - 共 12 个文件 31 处替换 - 待 ACR 自定义域名恢复后可切回	2026-09-17 07:16:08 +08:00
xiaoxia	018e1bcb9b	fix(ci): deploy-staging job 直接 scp 抖音 cookies 到 staging host，避免空占位覆盖镜像内 cookies ... - ci-pipeline.yml: 在 .env scp 之后增加 douyin_cookies.txt scp - ci_staging_deploy.sh: 简化逻辑，不再尝试从本地 repo 路径拷贝（脚本是通过管道 SSH 执行无本地文件）	2026-09-16 20:14:37 +08:00
xiaoxia	221eed2a25	fix(deploy): staging 部署时自动从 repo 拷贝真实抖音 cookies（>200B），避免空占位覆盖镜像内 cookies	2026-09-16 19:47:07 +08:00
xiaoxia	67a1ed6430	feat(#1894): 清理文案库多余字段 / 废弃标题库 API / 旧定价档位清理 (#1968) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-16 18:58:04 +08:00
xiaoxia	c7662f0515	fix(ci): fix worker HEALTHCHECK quoting bug (#1966) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-16 17:31:15 +08:00
xiaoxia-agent	50b413a6fa	fix(ci): 生产环境部署也通过 CI 渲染 + 上传 .env（与 staging 对齐，避免 DOUBAO 等密钥丢失） ... - deploy-production 新增 Render .env from template 步骤（复用 render_env.sh production） - Deploy production over SSH 在拉镜像前加 SCP 上传渲染后的 .env + config diff 检查 - ci_production_deploy.sh: .env 不存在时给出清晰错误提示（对齐 staging） 本次主因修复：#1958 只补了 staging 的 DOUBAO 注入路径，但生产环境 deploy-production 直接读取服务器上手写的 .env，下次 release 到 main 时 AI 端点同样会因缺 DOUBAO_API_KEY 返回 502。本次同步补齐，确保生产也走 CI 统一渲染管线。	2026-09-16 12:36:19 +08:00
xiaoxia-agent	300f4b2abd	fix(staging): add DOUBAO_API_KEY to CI env render (fix 502 AI unavailable) ... Root cause: Doubao (ARK) AI client configuration was missing from staging .env template and CI render pipeline. The DOUBAO_API_KEY/MODEL/BASE_URL variables were added to packages/config/api_settings.py but never wired through deploy/configs/.env.staging, render_env.sh shared secrets, or ci-pipeline.yml. After recent PRs that added AI endpoints (ai-rewrite, extract-from-douyin, lipsync/digital-human) calling get_doubao_client(), is_available returned False because settings.doubao_api_key was empty → all AI routes returned 502. Fix: 1. deploy/configs/.env.staging: add DOUBAO_API_KEY/MODEL/BASE_URL/TIMEOUT/MAX_RETRIES 2. deploy/configs/.env.production: same (for prod parity) 3. scripts/render_env.sh: add DOUBAO_API_KEY/MODEL/BASE_URL to SHARED_SECRETS 4. .gitea/workflows/ci-pipeline.yml: pass DOUBAO secrets to deploy-staging env 5. Gitea Actions secrets: DOUBAO_API_KEY/MODEL/BASE_URL added (already set) Verified render_env.sh produces correct .env.rendered with all 19 vars substituted. Full unit test suite: 15523 passed.	2026-09-16 11:54:44 +08:00
xiaoxia	de56a67457	fix(ci): run_staging_tests.sh 同样加 trap EXIT 回收 staging 测试容器	2026-09-16 00:19:06 +08:00
xiaoxia	371be8034d	fix(ci): trap EXIT 回收集成测试 PG/Redis 容器，杜绝取消/失败时泄漏 ... 问题：run_integration_tests.sh 用 docker run -d 起 ci-pg-/ci-redis- 服务容器， 仅在脚本正常走到结尾时 rm；job 失败(set -e)或被 Gitea 取消(SIGTERM)时容器 永久残留。2026-09-15 堆积 20 个泄漏容器把构建机 load 顶到 25.9，CI 大面积排队。 修复：参照 validate_migration.sh 既有做法，新增幂等 cleanup_containers 并注册 trap EXIT/INT/TERM，在启动服务容器前生效，保证任何退出路径都回收临时容器； 共享 PG 模式的 drop-db 逻辑保持不变。主机侧另有 ci_service_reaper.py 每5分钟兜底。	2026-09-16 00:17:58 +08:00
xiaoxia	53fb25efcf	fix(#1834): 批量修复 UP 系列静态分析警告（UP007/UP006/UP017/UP035） (#1928) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-15 12:59:17 +08:00
saas-backend	8237d170a5	feat(#1899,#1900): clip_count 参数 + 模板管理 API 冗余清理 ... [skip ci-format-check] #1899 clip_count 参数透传（from-assets 端点） - ClipsFromAssetsRequest 新增 clip_count: Optional[int] (1-10) 字段 - 保留旧字段 required_clips_count 兼容：未传 clip_count 时回退旧字段（超 10 截断）；两者都未传时默认 3 段 - 按 clip_count 创建 N 个片段，大于模板 segment 数时按顺序循环复用 segment 配置 - 每个片段时长在对应 segment 的 duration_min/duration_max 之间随机取值，保持原有轮询分配逻辑 #1900 模板管理 API 清理（前端 PR#1911 my-templates/editing-planner 下线） - 保留 GET /templates 列表端点（生成页自动选模板使用） - 删除 HTTP 端点：GET/POST/PUT/PATCH/DELETE /templates/{id}、POST copy、GET usage、 POST toggle-favorite、POST validate、GET/POST/DELETE /categories、GET /tags/list - 保留内部默认模板兜底 _get_or_create_default_template_id 及 CreateTemplateUseCase - 删除对应 response_model 中不再使用的类（Copy/Update/Validate/Category/Usage/Favorite 等） - 清理测试：删除集成测试 test_template_categories_api.py，更新 3 个单测适配新 clip_count 语义 DB：未涉及 schema 变更（models 本就无 is_favorite/usage_count 等列），跳过 migration。 新增 scripts/cleanup_e2e_test_data.sql 供运维在 staging DB 手动清理 e2e-gen-*/asset-create_* 账号残留模板数据。 单测：15128 passed, 28 skipped（全量 tests/unit/）	2026-09-15 07:32:06 +08:00
xiaoxia	d478a9ffbc	fix(ci): push :dev tag for watchtower + fix staging deploy host to 116 (#1889) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-14 14:42:46 +08:00
xiaoxia	628fc6c4e6	fix(ci): push :dev tag to registry for watchtower auto-update (#1888) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-14 14:26:05 +08:00
xiaoxia	f651422582	fix(deploy): 修复生产部署脚本502——worker/web容器启动失败 (#1887) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-14 11:29:58 +08:00
xiaoxia	caa4ce118c	fix(ci): auto-fix 脚本补充 ruff check --fix（含 F401 等 unsafe fix） ... - fix_python() 在 black/isort 之后追加 ruff check --fix --unsafe-fixes - 目标范围与 validate_style.sh 对齐：apps packages tests（alembic 被 ruff exclude，scripts 不在检查范围） - ruff 不可用或修复后仍有残余问题时不阻断，剩余 lint 由 style check 继续拦截 - workflow step 名同步更新 解决 F401 等 ruff 可自动修复错误无法自动推修复、开发者反复打回的问题	2026-09-10 20:20:25 +08:00
xiaoxia	6ee99a652c	fix: 部署脚本 worker health-cmd 未转义导致 staging 部署失败回滚 (#1806)	2026-09-08 22:41:28 +08:00
CI Bot	e4ac398397	fix: Worker 健康检查彻底修复 - 移除不可用的 pgrep 和 PID1 检查 ... 根因：#1714 队列隔离后 entrypoint 启动两个 celery worker 子进程， PID 1 变为 bash。旧健康检查依赖 pgrep（容器内不存在）或 /proc/1/cmdline（PID 1 是 bash 不是 celery），永远返回失败。 此前靠 cron 脚本 fix-worker-healthcheck.sh 每 30 分钟擦屁股。 修复：统一改为扫描 /proc/[0-9]*/cmdline 查找 celery 进程， 覆盖所有部署/回滚/CI 脚本（10 处替换）。已移除 cron 补丁。	2026-09-08 19:07:37 +08:00
xiaoxia	5678779232	feat: #1776 素材库 asset_count 自动同步维护 (#1787) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-08 10:30:21 +08:00
xiaoxia	9840d5d778	deploy(#1718): 微信OAuth凭证纳入env模板+CI渲染，修复staging部署覆盖丢失 (#1721) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 17:39:46 +08:00
CI Test	18beb7cfa3	fix(ci): 修复自动合并竞态条件 (#1648)	2026-09-03 15:55:00 +08:00
xiaoxia	5474812fab	fix(deploy): 部署脚本内嵌 nginx 配置，运行时覆盖容器内 upstream (#1647) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-03 15:53:27 +08:00
xiaoxia	ffd02a3ec8	fix(ci): 修复自动合并竞态问题 ... 问题：auto-merge job 和 auto-approve job 并行执行，auto-merge 在审批完成前就检查审批状态，发现无审批后直接退出。等审批完成时 merge job 已结束，无人再触发合并，PR 卡住无法自动合并。 实核：PR #1602 CI 全绿 + 已审批，但 PR 至今未合并。 auto-merge 在 6m43s 退出，auto-approve 在 8m8s 才完成。 修复： 1. pr-automation.yml: auto-merge 添加 needs: [auto-approve]， 确保审批完成后再尝试合并 2. pr-automation.yml: auto-approve timeout 从 3min 增至 10min， auto-merge timeout 从 3min 增至 15min 3. auto_merge.sh: 将单次检查改为轮询模式（30s初始等待 + 60次×10s 轮询 = 最多10分钟），CI pending 时 return 1 继续重试而非 exit 0 直接退出	2026-09-03 15:47:44 +08:00
xiaoxia	5cdaa29511	fix(healthcheck): 生产健康检查 /docs 接受 404，修复 develop push 生产部署回滚 (#1646)	2026-09-03 15:38:50 +08:00
xiaoxia	b1eabdc847	fix: increase healthcheck timeout to 300s + fix rollback registry to ACR	2026-09-03 14:16:32 +08:00
xiaoxia	1134472e12	fix(ci): correct PG credentials in temp container DATABASE_URL + fix mypy no-redef	2026-09-03 10:28:32 +08:00
xiaoxia	c69338ea20	fix(ci): correct PG credentials in temp container DATABASE_URL + fix mypy no-redef	2026-09-03 10:28:31 +08:00
xiaoxia	f4564e3445	fix(ci): rewrite detect_docker_host to use network topology instead of port probe	2026-09-03 09:52:30 +08:00
xiaoxia	04084c4c1d	fix(ci): rewrite detect_docker_host to use network topology instead of port probe	2026-09-03 09:52:27 +08:00
xiaoxia	962564684f	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:25 +08:00
xiaoxia	a1a517678d	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:23 +08:00
xiaoxia	e6c44c9bf8	feat(config): Phase 5 — 配置 Diff 验证，检测配置漂移 (#1632) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-02 18:15:34 +08:00
xiaoxia	b8d3f3aa16	fix: 修正 PR #1630 三处问题 ... 1. Production 模板 SMTP_HOST 改为空值（与实际一致） 2. ci-pipeline.yml MinIO Bucket Secret 名称修正为 STAGING_MINIO_BUCKET - render_env.sh 增加特殊映射：STAGING_MINIO_BUCKET → MINIO_BUCKET_NAME 3. 修正模板中与实际运行不一致的配置值： Staging: JWT_ACCESS_TOKEN_EXPIRE_MINUTES=1440, COSYVOICE_VOICE=longxiaoxia_v3, COSYVOICE_FORMAT=wav, CORS_ORIGINS_RAW 使用 staging-api Production: COSYVOICE_VOICE=longxiaoxia_v3, COSYVOICE_FORMAT=wav, CORS_ORIGINS_RAW 使用 api（非 www）	2026-09-02 17:12:59 +08:00
xiaoxia	459cf61495	feat(config): Phase 4 — 修正模板 + 渲染脚本 + CI 部署改造 ... 第一部分：修正配置模板（7 处差异） - MINIO_BUCKET → MINIO_BUCKET_NAME（统一变量名） - 删除 DOUBAO_API_KEY 区块（两个环境都没在用） - 新增 DASHSCOPE_API_KEY（实际在用，模板漏了） - 新增 MediaKit 区块（3 个变量） - staging DEBUG=true（实际在用 true） - ENABLE_EMAIL_DELIVERY=false（邮件功能未上线） - SMTP 相关默认值改为空 第二部分：创建 env 渲染脚本 - scripts/render_env.sh：从模板 + Secrets 渲染 .env - 使用 Python 实现变量替换（CI runner 无 envsubst） - 支持 STAGING_xxx/PRODUCTION_xxx 前缀映射 - 自动校验所有必需变量已设置 - 输出文件权限 600，不打印到日志 第三部分：改造 CI 部署流程 - deploy-staging 新增 'Render .env from template' 步骤 - SSH deploy 前先 SCP 渲染后的 .env 到服务器 - 自动备份旧 .env（带时间戳） - 部署完成后清理 CI runner 上的渲染文件 - ci_staging_deploy.sh 改为显式检查 .env 来源 安全: .env.rendered 加入 .gitignore	2026-09-02 17:02:45 +08:00
xiaoxia	c00a0d9eb0	perf(deploy): 健康检查轮询间隔从 5s 降至 3s ... - 更快检测到服务就绪状态 - 减少约 10-20s 的等待时间	2026-09-01 20:49:55 +08:00
xiaoxia	6c3db74fd3	perf(deploy): Worker 优雅关闭超时从 300s 降至 120s ... - 大多数部署时 Worker 无长任务运行，120s 足够 - 减少不必要的等待时间	2026-09-01 20:49:54 +08:00
xiaoxia	ab6717eeae	perf(CI): Unit Tests 增量测试+依赖缓存优化 ... - push 事件也启用增量测试选择（仅跑改动相关的测试文件） - 持久 runner 依赖 hash 缓存（requirements 无变化时跳过 pip install） - 3 次独立 pip install 合并为 1 次 - numpy 缓存检查（已安装则跳过） - 预计节省 5-10 分钟	2026-09-01 20:49:54 +08:00
xiaoxia	0299678389	fix(ci): 自动同步 docker config 到 BuildKit 容器 ... - 每次确保 builder 存在后自动同步宿主机 docker config - 防止 builder 重建后 registry 认证丢失 - 解决私有镜像拉取 401 问题	2026-09-01 16:21:56 +08:00
CI Bot	2e3b2d7680	fix(ci): replace psycopg2 with psycopg in validate_migration.sh ... Alembic migration validation was failing because psycopg2 module doesn't exist. requirements-base.txt installs psycopg[binary]==3.2.2 (psycopg3). Changed: - import psycopg2 → import psycopg - psycopg2.connect() → psycopg.connect()	2026-09-01 11:34:00 +08:00
xiaoxia	974ca188b3	fix(ci): sync REQUIRED_CONTEXTS_APPROVE with CI optimized job names	2026-09-01 10:30:23 +08:00
xiaoxia	6e4b711ba2	fix(ci): sync context list with CI optimized job names in auto_approve.sh	2026-09-01 10:30:20 +08:00
xiaoxia	83cbcd6c76	fix(ci): replace psycopg2 with psycopg3 in run_validate.sh	2026-09-01 10:29:52 +08:00
xiaoxia	071d17d947	fix(ci): replace psycopg2 with psycopg3 in run_integration_tests.sh	2026-09-01 10:29:34 +08:00
xiaoxia	bc9df316dc	fix(ci): Web 镜像 buildx 幽灵缓存防护——Git Tree Hash Cache Bust ... 问题：ci-builder-persist 持久化 builder 的 buildkit 层缓存偶尔出现'幽灵命中'： COPY apps/web/ ./ 步骤认为自己没变（实际文件已改），导致 vite build 不执行， 打出来的 Web 镜像前端文件是旧的。 修复原理： 把 apps/web/ 目录的 git tree hash 作为 build arg 传入 Dockerfile。 buildx 把 build arg 值作为缓存键的一部分，hash 变了 → RUN 步骤缓存失效 → vite build 必须重新执行。依赖层（npm ci）不受影响，仍然正常缓存。 改动： 1. web.Dockerfile：新增 ARG SOURCE_HASH，在构建步骤写入 .cache_bust 文件 2. docker_build_push.sh：Web 镜像构建时计算 git tree hash 并传入 3. docker_build_only.sh：同上 验证： - 合并后触发 push 到 develop - 查看 Build Staging Web Image 日志，确认输出 Web cache bust: SOURCE_HASH=xxxxx - 修改 apps/web/ 下文件再次 push，确认 SOURCE_HASH 值变化且 vite build 执行	2026-08-31 22:40:57 +08:00
xiaoxia	72f47592a9	fix(ci): 安全/风格检查 pip install 加固——防缓存损坏导致 CI 失败 ... 问题：Gitea Actions cache 返回损坏归档时（cache EOF/deserialization failed）， pip install pip-audit/detect-secrets/vulture 因 hash mismatch 直接 exit 1， 导致 validate-security/validate-style 整体失败。 修复： - detect-secrets/pip-audit/vulture 安装加 --no-cache-dir - pip-audit 安装失败后 graceful skip（本身是 advisory-only） - detect-secrets 安装失败后重试一次 --no-binary - vulture 安装失败后 skip 死代码检测（本身是 advisory-only）	2026-08-31 20:16:34 +08:00
xiaoxia	4ae6394c95	ci: batch2 speedup - merge validate-type-check+migration into validate-python, split validate-code-quality into validate-style+validate-security ... Change 5: Merge validate-type-check + validate-migration into validate-python - Single checkout + single pip install → mypy + alembic - Saves ~2min checkout + ~1min pip install + 1 runner slot - Preserves DATABASE_URL env for alembic migration validation Change 6: Split validate-code-quality into validate-style + validate-security - validate-style: compileall + black/isort/ruff + vulture (advisory) + auto-fix (~3min) - validate-security: detect-secrets + bandit (advisory) + pip-audit (advisory) + CI scripts syntax (~5min) - Both jobs run in parallel, reducing wall-clock time from ~10min to ~5min Updated references: - ci-gate needs: validate-code-quality → validate-style + validate-security - ci-gate needs: validate-type-check + validate-migration → validate-python - build-production needs: validate-code-quality → validate-style + validate-security - Removed obsolete scripts/ci/validate_code_quality.sh	2026-08-31 18:25:00 +08:00