feat(ci): P1-2 Unit Tests增量执行 - 按改动文件映射相关测试 #472

Merged

auto-approve-bot merged 8 commits from ci/p1-2-unit-tests-incremental into develop 2026-07-17 18:19:14 +08:00

Conversation 9 Commits 8 Files Changed 2

+282 -5

xiaoxia commented 2026-07-17 14:43:13 +08:00

Owner

Copy Link

Copy Source

变更说明

P1-2: Unit Tests 增量执行 - PR模式下根据改动文件智能选择要跑的单元测试，减少CI时间。

改动内容

1. 新增 scripts/ci/select_unit_tests.py - 增量测试选择器

   • 路由文件改动 → 匹配同名 API 测试
   • 服务/引擎文件改动 → 匹配同名服务测试
   • 测试文件本身改动 → 只跑改了的测试
   • 公共核心模块（core/middleware/schemas/config/db/packages/shared）→ 全量兜底
   • 依赖文件/迁移/workflow改动 → 全量兜底
   • 匹配不到 → 全量兜底（零漏测风险）

2. 修改 ci-cd.yml Unit Tests job

   • PR 事件下先跑增量选择步骤，再决定跑哪些测试
   • 增量模式下调低 coverage 硬门槛（--fail-under=60 → 10），因为增量跑覆盖率不准
   • push 事件保持全量 + 原门槛不变

预期收益

• 70% 的单模块改动 PR: Unit Tests 从 3min+ → ~30秒（省 ~2.5min）
• 20% 的多模块改动 PR: 省 1-2min
• 10% 公共模块改动 PR: 全量运行，无收益但也无风险
• 总体 PR CI 时间预计从 5min → 3min 左右

vulture扫描结果

5处高置信度"死代码"全部为接口方法参数（urllib redirect_request / context manager exit），均为误报，无需清理。

风险

• 全量兜底策略，不会漏测
• coverage 门槛在增量模式下降级（push 到 develop/main 仍是全量+原门槛）

## 变更说明 **P1-2: Unit Tests 增量执行** - PR模式下根据改动文件智能选择要跑的单元测试，减少CI时间。 ### 改动内容 1. **新增 `scripts/ci/select_unit_tests.py`** - 增量测试选择器 - 路由文件改动 → 匹配同名 API 测试 - 服务/引擎文件改动 → 匹配同名服务测试 - 测试文件本身改动 → 只跑改了的测试 - 公共核心模块（core/middleware/schemas/config/db/packages/shared）→ 全量兜底 - 依赖文件/迁移/workflow改动 → 全量兜底 - 匹配不到 → 全量兜底（零漏测风险） 2. **修改 `ci-cd.yml` Unit Tests job** - PR 事件下先跑增量选择步骤，再决定跑哪些测试 - 增量模式下调低 coverage 硬门槛（`--fail-under=60` → `10`），因为增量跑覆盖率不准 - push 事件保持全量 + 原门槛不变 ### 预期收益 - **70% 的单模块改动 PR**: Unit Tests 从 3min+ → ~30秒（省 ~2.5min） - **20% 的多模块改动 PR**: 省 1-2min - **10% 公共模块改动 PR**: 全量运行，无收益但也无风险 - 总体 PR CI 时间预计从 5min → 3min 左右 ### vulture扫描结果 5处高置信度"死代码"全部为接口方法参数（urllib redirect_request / context manager __exit__），均为误报，无需清理。 ### 风险 - 全量兜底策略，不会漏测 - coverage 门槛在增量模式下降级（push 到 develop/main 仍是全量+原门槛）

xiaoxia added 1 commit 2026-07-17 14:43:14 +08:00

feat(ci): P1-2 Unit Tests增量执行 - 按改动文件映射相关测试 ... d93731f6ee

- 新增 scripts/ci/select_unit_tests.py: 智能选择增量测试文件
- 映射规则: 路由/服务/引擎文件→同名测试, 公共核心模块→全量兜底
- PR模式下自动增量，可减少70%+ PR的测试执行时间
- 增量模式下调低coverage硬门槛（跑的文件少覆盖率自然低）
- vulture扫描: 5处全部为接口方法参数(urllib handler/__exit__)，均为误报无需清理

xiaoxia referenced this pull request 2026-07-17 14:43:39 +08:00

[CI优化] P1-2 集成测试增量执行 #444

xiaoxia added 1 commit 2026-07-17 14:47:25 +08:00

fix(ci): 修复select_unit_tests.py的F401和F821错误 bf0d31673b

xiaoxia added 1 commit 2026-07-17 17:07:23 +08:00

fix(ci): black格式化select_unit_tests.py cf63c291e8

xiaoxia added 1 commit 2026-07-17 17:25:56 +08:00

perf(ci): ci-l1→ci-check 充分利用全部runner 04a65713cd

xiaoxia added 1 commit 2026-07-17 17:29:38 +08:00

fix(ci): black格式化修正(line-length=120) 5cf325ab42

auto-approve-bot reviewed 2026-07-17 17:43:34 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

auto-approve-bot reviewed 2026-07-17 17:43:35 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

auto-approve-bot reviewed 2026-07-17 17:43:53 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

auto-approve-bot approved these changes 2026-07-17 17:44:08 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

xiaoxia reviewed 2026-07-17 17:44:54 +08:00

xiaoxia left a comment

Author

Owner

Copy Link

Copy Source

CI全绿，审批通过。

CI全绿，审批通过。

xiaoxia added 1 commit 2026-07-17 17:52:40 +08:00

fix(ci): isort import排序修复 8a7a1a2447

auto-approve-bot approved these changes 2026-07-17 17:55:59 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

auto-approve-bot approved these changes 2026-07-17 17:55:59 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

auto-approve-bot commented 2026-07-17 17:56:23 +08:00

Collaborator

Copy Link

Copy Source

Auto merge failed: PR may have conflicts or unresolved checks. Please review manually.

Auto merge failed: PR may have conflicts or unresolved checks. Please review manually.

xiaoxia added 1 commit 2026-07-17 18:06:18 +08:00

fix(ci): 合并#474冲突 - 增量测试+diff-cover融合 fed40b172c

xiaoxia added 1 commit 2026-07-17 18:15:36 +08:00

fix(ci): 无业务代码改动时跳过diff-cover检查 d4091d74d0

auto-approve-bot merged commit a0957e7293 into develop 2026-07-17 18:19:14 +08:00

auto-approve-bot deleted branch ci/p1-2-unit-tests-incremental 2026-07-17 18:19:14 +08:00

auto-approve-bot commented 2026-07-17 18:22:34 +08:00

Collaborator

Copy Link

Copy Source

代码审查结果 - PR #472

⚠️ 问题（2个需要修改）

1. .gitea/workflows/ci-cd.yml 第354行：使用了未定义的环境变量 HAS_APP_CHANGES。

   • 原因：在 "Diff coverage check" 步骤中增加了 env.HAS_APP_CHANGES == 'true' 的判断条件，但在整个 PR 的 diff 中并未看到对该变量的赋值逻辑。
   • 后果：如果该变量未在 CI 前序步骤中定义，此条件将永远为 false，导致增量覆盖率检查步骤被跳过，无法拦截低质量代码。
   • 建议：应在 "Select incremental test files" 步骤中根据 CHANGED_FILES 是否包含应用代码（如 .py 文件）来设置 HAS_APP_CHANGES 并写入 $GITHUB_ENV。

2. scripts/ci/select_unit_tests.py 第148行：模糊匹配算法存在缺陷，导致无法匹配常见命名格式的测试文件。

   • 原因：当前逻辑为 keyword_lower in tf_name or tf_name in keyword_lower。例如源文件为 user_service.py (处理为 userservice)，测试文件为 test_user.py (处理为 testuser)，两者互不包含，匹配失败。
   • 后果：除了硬编码在 special_mappings 中的文件外，新增文件的改动极易触发“全量运行”兜底逻辑，导致增量测试失效，CI 变慢。
   • 建议：改进匹配逻辑，例如在比较前移除源文件名中的常见后缀（_service, _controller, _model 等），或增加更灵活的词干匹配。

💡 建议（2个可选）

1. .gitea/workflows/ci-cd.yml 第273行：GitHub API 请求设置了 limit=300。

   • 说明：如果 PR 涉及的改动文件超过 300 个，API 返回列表将被截断，导致部分文件未被分析，可能遗漏必要的测试。
   • 建议：虽然 300 个文件通常已足够，但为了严谨，建议处理 API 分页或在 CI 日志中检测是否达到 limit 并给出警告。

2. scripts/ci/select_unit_tests.py 第113行：get_changed_files 函数中的 fallback 逻辑硬编码了 origin/develop。

   • 说明：如果项目的主分支是 main 或 master，本地调试时该命令会失败。
   • 建议：虽然这是调试用的 fallback，但建议通过 git config 动态获取默认分支，或注释说明需手动修改。

---

✅ 格式检查通过 | ❌ 逻辑审查需修改 | ✅ 建议关注性能

---

_{🤖 由 AI 代码审查机器人自动生成 | 2026-07-17 18:22:34 | 模型:}

## 代码审查结果 - PR #472 ### ⚠️ 问题（2个需要修改） 1. **.gitea/workflows/ci-cd.yml 第354行**：使用了未定义的环境变量 `HAS_APP_CHANGES`。 - **原因**：在 "Diff coverage check" 步骤中增加了 `env.HAS_APP_CHANGES == 'true'` 的判断条件，但在整个 PR 的 diff 中并未看到对该变量的赋值逻辑。 - **后果**：如果该变量未在 CI 前序步骤中定义，此条件将永远为 false，导致增量覆盖率检查步骤被跳过，无法拦截低质量代码。 - **建议**：应在 "Select incremental test files" 步骤中根据 `CHANGED_FILES` 是否包含应用代码（如 `.py` 文件）来设置 `HAS_APP_CHANGES` 并写入 `$GITHUB_ENV`。 2. **scripts/ci/select_unit_tests.py 第148行**：模糊匹配算法存在缺陷，导致无法匹配常见命名格式的测试文件。 - **原因**：当前逻辑为 `keyword_lower in tf_name or tf_name in keyword_lower`。例如源文件为 `user_service.py` (处理为 `userservice`)，测试文件为 `test_user.py` (处理为 `testuser`)，两者互不包含，匹配失败。 - **后果**：除了硬编码在 `special_mappings` 中的文件外，新增文件的改动极易触发“全量运行”兜底逻辑，导致增量测试失效，CI 变慢。 - **建议**：改进匹配逻辑，例如在比较前移除源文件名中的常见后缀（`_service`, `_controller`, `_model` 等），或增加更灵活的词干匹配。 ### 💡 建议（2个可选） 1. **.gitea/workflows/ci-cd.yml 第273行**：GitHub API 请求设置了 `limit=300`。 - **说明**：如果 PR 涉及的改动文件超过 300 个，API 返回列表将被截断，导致部分文件未被分析，可能遗漏必要的测试。 - **建议**：虽然 300 个文件通常已足够，但为了严谨，建议处理 API 分页或在 CI 日志中检测是否达到 limit 并给出警告。 2. **scripts/ci/select_unit_tests.py 第113行**：`get_changed_files` 函数中的 fallback 逻辑硬编码了 `origin/develop`。 - **说明**：如果项目的主分支是 `main` 或 `master`，本地调试时该命令会失败。 - **建议**：虽然这是调试用的 fallback，但建议通过 git config 动态获取默认分支，或注释说明需手动修改。 --- ✅ 格式检查通过 | ❌ 逻辑审查需修改 | ✅ 建议关注性能 --- _{🤖 由 AI 代码审查机器人自动生成 | 2026-07-17 18:22:34 | 模型:} <!-- AI_CODE_REVIEW_AUTO_COMMENT -->

xiaoxia referenced this pull request 2026-07-17 18:26:16 +08:00

[CI优化] P1-2 集成测试增量执行 #444

Sign in to join this conversation.

Reviewers

No Reviewers

auto-approve-bot

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot xiaoxia

No Assignees

2 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#472