fix(ci): trap EXIT 回收集成测试 PG/Redis 容器，杜绝取消/失败泄漏 #1946

Merged

xiaoxia merged 2 commits from fix/ci-service-container-cleanup-trap into develop 2026-09-16 06:52:20 +08:00

Conversation 3 Commits 2 Files Changed 2

+38 -10

xiaoxia commented 2026-09-16 00:18:16 +08:00

Owner

Copy Link

Copy Source

背景

9/15 CI 大面积排队，根因是集成测试的临时服务容器（ci-pg-/ci-redis-）在 job 失败或被取消时不回收，堆积 20 个僵尸容器把构建机 load 顶到 25.9。

根因

scripts/ci/run_integration_tests.sh 用 docker run -d 起 PG/Redis，只在脚本正常走到结尾时 docker rm -f；set -e 中途失败或 Gitea 取消（SIGTERM）时清理不执行 → 泄漏。

改动

• 新增幂等 cleanup_containers()，注册 trap EXIT / INT / TERM，在启动任何服务容器前生效
• 任何退出路径（成功/失败/取消）都回收临时 PG、Redis 容器，并保留原始退出码
• 共享 PG（CI_USE_SHARED_PG=true）的 drop-db 逻辑保持不变
• 参照 validate_migration.sh 已有的 trap cleanup_db EXIT 做法

配套（主机侧，已上线）

/opt/scripts/ci_service_reaper.py 每 5 分钟按 Gitea run 状态兜底回收泄漏容器（run 完成即清，在跑的保留），作为第二层防御。

风险

仅改测试脚本清理逻辑，不碰业务代码。bash -n 通过。

## 背景 9/15 CI 大面积排队，根因是集成测试的临时服务容器（ci-pg-/ci-redis-）在 job **失败或被取消**时不回收，堆积 20 个僵尸容器把构建机 load 顶到 25.9。 ## 根因 `scripts/ci/run_integration_tests.sh` 用 `docker run -d` 起 PG/Redis，只在脚本正常走到结尾时 `docker rm -f`；`set -e` 中途失败或 Gitea 取消（SIGTERM）时清理不执行 → 泄漏。 ## 改动 - 新增幂等 `cleanup_containers()`，注册 `trap EXIT / INT / TERM`，在启动任何服务容器前生效 - 任何退出路径（成功/失败/取消）都回收临时 PG、Redis 容器，并保留原始退出码 - 共享 PG（CI_USE_SHARED_PG=true）的 drop-db 逻辑保持不变 - 参照 `validate_migration.sh` 已有的 `trap cleanup_db EXIT` 做法 ## 配套（主机侧，已上线） `/opt/scripts/ci_service_reaper.py` 每 5 分钟按 Gitea run 状态兜底回收泄漏容器（run 完成即清，在跑的保留），作为第二层防御。 ## 风险 仅改测试脚本清理逻辑，不碰业务代码。bash -n 通过。

xiaoxia added 1 commit 2026-09-16 00:18:16 +08:00

fix(ci): trap EXIT 回收集成测试 PG/Redis 容器，杜绝取消/失败时泄漏 ... 371be8034d

问题：run_integration_tests.sh 用 docker run -d 起 ci-pg-/ci-redis- 服务容器，
仅在脚本正常走到结尾时 rm；job 失败(set -e)或被 Gitea 取消(SIGTERM)时容器
永久残留。2026-09-15 堆积 20 个泄漏容器把构建机 load 顶到 25.9，CI 大面积排队。

修复：参照 validate_migration.sh 既有做法，新增幂等 cleanup_containers 并注册
trap EXIT/INT/TERM，在启动服务容器前生效，保证任何退出路径都回收临时容器；
共享 PG 模式的 drop-db 逻辑保持不变。主机侧另有 ci_service_reaper.py 每5分钟兜底。

xiaoxia added 1 commit 2026-09-16 00:19:09 +08:00

fix(ci): run_staging_tests.sh 同样加 trap EXIT 回收 staging 测试容器 de56a67457

gitea-actions bot commented 2026-09-16 00:28:17 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1946
预览链接	https://pr-1946.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1946 | | 预览链接 | [https://pr-1946.preview.xiaoxiajianji.com](https://pr-1946.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

xiaoxia merged commit 1bf0e73fd2 into develop 2026-09-16 06:52:20 +08:00

xiaoxia reviewed 2026-09-16 06:52:36 +08:00

xiaoxia left a comment

Author

Owner

Copy Link

Copy Source

ci green, auto-merge via admin (rerun skipped pr-automation)

ci green, auto-merge via admin (rerun skipped pr-automation)

gitea-actions bot commented 2026-09-16 06:53:15 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1946 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1946 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

2 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1946