ci: CI重复失败检测 - 自动识别高失败率job并飞书告警 #703

Merged

xiaoxia merged 6 commits from ci/repeated-failure-detection into develop 2026-07-22 11:39:58 +08:00

Conversation 3 Commits 6 Files Changed 2

+495

xiaoxia commented 2026-07-22 10:57:20 +08:00

Owner

Copy Link

Copy Source

背景

第四层（持续监控）最后一块拼图：CI重复失败检测。

定期扫描最近N天的CI失败，按job分组统计失败率，识别高失败率的系统性故障，自动飞书告警。

功能

检测逻辑

• 统计周期: 最近7天（可配置）
• 数据源: Gitea Actions API
• 统计维度: 按job名称分组

三级告警

级别	条件	处理
🔴 严重	连续失败≥3次 或 失败率≥50%且失败≥5次	飞书高优先级告警
🟡 警告	失败率≥30%且失败≥3次	飞书普通告警
🔵 关注	失败≥2次	仅记录在报告中

定时运行

• 每6小时一次（cron: 0 */6 * * *）
• 支持手动触发（workflow_dispatch）
• 监控脚本永远不fail，避免告警风暴

文件清单

• • 检测脚本（409行）
• • 定时任务

四层防御架构补全

• L1 事前防: 4/4 ✅
• L2 事中自愈: 4/4 ✅
• L3 事后诊断: 3/3 ✅
• L4 持续监控: 4/4 ✅（本PR补全最后一块）

## 背景 第四层（持续监控）最后一块拼图：CI重复失败检测。 定期扫描最近N天的CI失败，按job分组统计失败率，识别高失败率的系统性故障，自动飞书告警。 ## 功能 ### 检测逻辑 - **统计周期**: 最近7天（可配置） - **数据源**: Gitea Actions API - **统计维度**: 按job名称分组 ### 三级告警 | 级别 | 条件 | 处理 | |------|------|------| | 🔴 严重 | 连续失败≥3次 或 失败率≥50%且失败≥5次 | 飞书高优先级告警 | | 🟡 警告 | 失败率≥30%且失败≥3次 | 飞书普通告警 | | 🔵 关注 | 失败≥2次 | 仅记录在报告中 | ### 定时运行 - 每6小时一次（cron: 0 */6 * * *） - 支持手动触发（workflow_dispatch） - 监控脚本永远不fail，避免告警风暴 ## 文件清单 - - 检测脚本（409行） - - 定时任务 ## 四层防御架构补全 - L1 事前防: 4/4 ✅ - L2 事中自愈: 4/4 ✅ - L3 事后诊断: 3/3 ✅ - **L4 持续监控: 4/4 ✅（本PR补全最后一块）**

xiaoxia added 2 commits 2026-07-22 10:57:21 +08:00

feat: 添加CI重复失败检测脚本 a0c27e3132

ci: 添加CI重复失败检测定时任务 246406eeb0

gitea-actions bot commented 2026-07-22 10:59:08 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#703
预览链接	https://pr-703.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #703 | | 预览链接 | [https://pr-703.preview.xiaoxiajianji.com](https://pr-703.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

xiaoxia added 1 commit 2026-07-22 11:00:34 +08:00

fix: 修复时间字段名(created_at->started_at) 8c1566cec3

xiaoxia added 1 commit 2026-07-22 11:04:33 +08:00

style: black format ci_repeated_failure_detector.py 2cb273b472

xiaoxia added 1 commit 2026-07-22 11:11:40 +08:00

style: fix isort import ordering 52e866b750

auto-approve-bot commented 2026-07-22 11:16:42 +08:00

Collaborator

Copy Link

Copy Source

代码审查结果 - PR #703

⚠️ 问题（2个需要修改）

1. scripts/ci/ci_repeated_failure_detector.py 第95行：时间比较逻辑不可靠，使用字符串直接比较ISO格式时间。

   • 原因：datetime.now().isoformat() 生成的字符串通常包含微秒（如 ...12:00:00.123456），而Gitea API返回的时间戳通常只有秒精度（如 ...12:00:00）。直接进行字符串比较（started >= since）会导致精度不匹配，可能错误地过滤掉边界时间点的Run，导致统计数据不准确。
   • 后果：统计结果可能遗漏部分CI运行记录，导致失败率计算偏差。

2. scripts/ci/ci_repeated_failure_detector.py 第57-65行：API错误处理过于宽泛，掩盖了认证或服务器错误。

   • 原因：api_get 函数在捕获 HTTPError 或其他异常时仅打印日志并返回 None。上游函数 fetch_recent_runs 判断 if not data: break 会直接终止循环，脚本最终输出“没有找到runs”。
   • 后果：如果Token配置错误（401）或API服务不可用（500），脚本会静默失败并报告“无异常”，导致运维人员误以为CI状态良好，掩盖了真实的配置或系统故障。

💡 建议（2个可选）

1. scripts/ci/ci_repeated_failure_detector.py 第153行：存在N+1查询性能风险。

   • 说明：在 analyze_failures 循环中对每个Run调用 fetch_run_jobs(run_id)。如果统计周期内（如7天）有大量Run（例如100+），将产生大量串行HTTP请求，可能导致脚本执行时长超过Workflow设置的10分钟超时限制，或触发API速率限制。建议考虑增加并发请求（如使用concurrent.futures）或限制单次扫描的Run数量上限。

2. .gitea/workflows/ci-failure-monitor.yml 第37-40行：建议使用标准Checkout方式。

   • 说明：使用 curl ... | bash 动态下载并执行脚本存在安全风险（虽然此处是从同一仓库获取）且依赖网络环境。如果Gitea支持 actions/checkout，建议使用标准Action；如果必须使用脚本，建议增加对下载内容的校验（如SHA256校验）。

---

✅ 格式检查通过 | ❌ 逻辑审查需修改 | ⚠️ 建议关注性能

---

_{🤖 由 AI 代码审查机器人自动生成 | 2026-07-22 11:16:42 | 模型:}

## 代码审查结果 - PR #703 ### ⚠️ 问题（2个需要修改） 1. **scripts/ci/ci_repeated_failure_detector.py 第95行**：时间比较逻辑不可靠，使用字符串直接比较ISO格式时间。 - **原因**：`datetime.now().isoformat()` 生成的字符串通常包含微秒（如 `...12:00:00.123456`），而Gitea API返回的时间戳通常只有秒精度（如 `...12:00:00`）。直接进行字符串比较（`started >= since`）会导致精度不匹配，可能错误地过滤掉边界时间点的Run，导致统计数据不准确。 - **后果**：统计结果可能遗漏部分CI运行记录，导致失败率计算偏差。 2. **scripts/ci/ci_repeated_failure_detector.py 第57-65行**：API错误处理过于宽泛，掩盖了认证或服务器错误。 - **原因**：`api_get` 函数在捕获 `HTTPError` 或其他异常时仅打印日志并返回 `None`。上游函数 `fetch_recent_runs` 判断 `if not data: break` 会直接终止循环，脚本最终输出“没有找到runs”。 - **后果**：如果Token配置错误（401）或API服务不可用（500），脚本会静默失败并报告“无异常”，导致运维人员误以为CI状态良好，掩盖了真实的配置或系统故障。 ### 💡 建议（2个可选） 1. **scripts/ci/ci_repeated_failure_detector.py 第153行**：存在N+1查询性能风险。 - **说明**：在 `analyze_failures` 循环中对每个Run调用 `fetch_run_jobs(run_id)`。如果统计周期内（如7天）有大量Run（例如100+），将产生大量串行HTTP请求，可能导致脚本执行时长超过Workflow设置的10分钟超时限制，或触发API速率限制。建议考虑增加并发请求（如使用`concurrent.futures`）或限制单次扫描的Run数量上限。 2. **.gitea/workflows/ci-failure-monitor.yml 第37-40行**：建议使用标准Checkout方式。 - **说明**：使用 `curl ... | bash` 动态下载并执行脚本存在安全风险（虽然此处是从同一仓库获取）且依赖网络环境。如果Gitea支持 `actions/checkout`，建议使用标准Action；如果必须使用脚本，建议增加对下载内容的校验（如SHA256校验）。 --- ✅ 格式检查通过 | ❌ 逻辑审查需修改 | ⚠️ 建议关注性能 --- _{🤖 由 AI 代码审查机器人自动生成 | 2026-07-22 11:16:42 | 模型:} <!-- AI_CODE_REVIEW_AUTO_COMMENT -->

xiaoxia added 1 commit 2026-07-22 11:18:29 +08:00

style: fix black/isort formatting (line-length=120) 6d8656b3f6

xiaoxia merged commit e4ce3caad1 into develop 2026-07-22 11:39:58 +08:00

gitea-actions bot commented 2026-07-22 11:40:28 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #703 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #703 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#703