fix: 查重 worker 无限重试 bug + 补 3 个 API/repository 单测 (#1661 follow-up) #1680

Merged

auto-approve-bot merged 2 commits from fix/duplication-ci-coverage-retry into develop 2026-09-04 11:38:12 +08:00

Conversation 3 Commits 2 Files Changed 2

+178 -8

xiaoxia commented 2026-09-04 11:26:48 +08:00

Owner

Copy Link

Copy Source

修复内容

1. 修复无限重试 Bug（duplication_check.py）

问题：except Exception 块中 raise self.retry(exc=e, countdown=60) 无条件执行，即使已达 max_retries 上限仍会 retry，导致 Celery 任务无法正确标记 failed。

修复：

• self.request.retries >= self.max_retries 时：标记 failed + 返回 {"ok": False, ...}，不再 retry
• self.request.retries < self.max_retries 时：才 raise self.retry(countdown=60)

2. 补 3 个单测提升 diff coverage

新增 tests/unit/test_duplication_api_enqueue.py：

测试	覆盖行	说明
test_upload_enqueue_calls_celery_task	routes/duplication.py L200	POST /upload 成功后调用 send_task
test_retry_enqueue_calls_celery_task	routes/duplication.py L306	POST /retry 成功后调用 send_task
test_repository_update_calls_session_commit	duplication_repository.py L63-64	update 方法正确写 visual_similarity/match_count 并 commit

验证

• 全部 99 个查重相关单测通过
• black + ruff 通过
• 修复后 diff coverage 应达到 60%+ 门槛

## 修复内容 ### 1. 修复无限重试 Bug（duplication_check.py） **问题**：`except Exception` 块中 `raise self.retry(exc=e, countdown=60)` 无条件执行，即使已达 max_retries 上限仍会 retry，导致 Celery 任务无法正确标记 failed。 **修复**： - `self.request.retries >= self.max_retries` 时：标记 failed + 返回 `{"ok": False, ...}`，不再 retry - `self.request.retries < self.max_retries` 时：才 `raise self.retry(countdown=60)` ### 2. 补 3 个单测提升 diff coverage 新增 `tests/unit/test_duplication_api_enqueue.py`： | 测试 | 覆盖行 | 说明 | |------|--------|------| | `test_upload_enqueue_calls_celery_task` | routes/duplication.py L200 | POST /upload 成功后调用 send_task | | `test_retry_enqueue_calls_celery_task` | routes/duplication.py L306 | POST /retry 成功后调用 send_task | | `test_repository_update_calls_session_commit` | duplication_repository.py L63-64 | update 方法正确写 visual_similarity/match_count 并 commit | ### 验证 - 全部 99 个查重相关单测通过 - black + ruff 通过 - 修复后 diff coverage 应达到 60%+ 门槛

xiaoxia added 1 commit 2026-09-04 11:26:49 +08:00

fix: 修复查重 worker 无限重试 bug + 补 3 个 API/repository 单测提升 diff coverage ... 1baa761dfd

- duplication_check.py: 仅在 retries < max_retries 时 retry，超过上限标 failed 并返回结果
- 新增 tests/unit/test_duplication_api_enqueue.py:
  - test_upload_enqueue_calls_celery_task: 上传接口调 send_task
  - test_retry_enqueue_calls_celery_task: 重试接口调 send_task
  - test_repository_update_calls_session_commit: 仓储 update 正确 commit
- 修复 diff coverage 从 53% 提升到 60%+ 门槛以上

gitea-actions bot commented 2026-09-04 11:28:27 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1680
预览链接	https://pr-1680.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1680 | | 预览链接 | [https://pr-1680.preview.xiaoxiajianji.com](https://pr-1680.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot added 1 commit 2026-09-04 11:29:25 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] 55eec860cc

auto-approve-bot commented 2026-09-04 11:30:59 +08:00

Collaborator

Copy Link

Copy Source

【阻塞级判定】

• 是否存在阻塞级问题：是
• 阻塞级问题数量：1 个

📊 审查概览

• 整体评价：需修改
• 建议级问题数量：1 个

🔴 阻塞级问题（必须修复）

1. [apps/worker/worker_app/tasks/duplication_check.py: 179] 逻辑错误导致无限重试风险
   • 问题类型：逻辑bug / 边界条件遗漏
   • 问题描述：当前条件 if "repo" in locals() and self.request.retries >= self.max_retries: 将“仓库对象是否存在”与“是否达到重试上限”耦合。如果 repo 初始化失败（例如数据库连接断开），repo 不会存在于 locals() 中。此时即使 self.request.retries >= self.max_retries 为真（已达重试上限），整个 if 块也会被跳过，直接执行后续的 raise self.retry(...)。这将导致任务忽略 max_retries 限制，陷入无限重试或直至 Celery 全局上限，造成资源浪费和日志堆积。
   • 修改建议：应将“重试上限判断”作为外层或独立条件。无论 repo 是否存在，只要达到重试上限，都应停止重试。建议修改逻辑如下：

     if self.request.retries >= self.max_retries:
         if "repo" in locals():
             try:
                 # ... mark failed logic ...
             except Exception as inner:
                 # ... error handling ...
         return {"ok": False, ...} # 达到上限必须返回，停止重试
     

💡 改进建议（不阻塞合并）

1. [apps/worker/worker_app/tasks/duplication_check.py: 186] 返回值语义与任务状态不符
   • 具体内容：当任务达到重试上限并失败时，代码返回了字典 {"ok": False, ...}。在 Celery 中，显式返回值会使任务状态被标记为 SUCCESS。如果下游系统或监控依赖 Celery 的任务状态（如 on_failure 回调、Flower 监控面板）来判断任务失败，这些任务将被误判为成功。建议确认业务逻辑是否依赖返回值内容判断成败，如果是，则当前代码可行；如果不是，建议抛出异常（如 raise MaxRetriesExceededError("...") from e）以使 Celery 正确记录 FAILURE 状态。

✅ 良好实践

• 增加了针对 repository.update 调用 session.commit 的单元测试，确保了数据持久化的可靠性。
• 代码注释清晰，明确区分了“超过重试上限”和“未达上限”的处理逻辑分支。
• 异常处理中保留了 exc_info=True，便于排查堆栈信息。

---

_{🤖 由 AI 代码审查机器人自动生成 | 2026-09-04 03:30:58 | 模型:}

### 【阻塞级判定】 - 是否存在阻塞级问题：是 - 阻塞级问题数量：1 个 ### 📊 审查概览 - 整体评价：需修改 - 建议级问题数量：1 个 ### 🔴 阻塞级问题（必须修复） 1. **[apps/worker/worker_app/tasks/duplication_check.py: 179] 逻辑错误导致无限重试风险** - 问题类型：逻辑bug / 边界条件遗漏 - 问题描述：当前条件 `if "repo" in locals() and self.request.retries >= self.max_retries:` 将“仓库对象是否存在”与“是否达到重试上限”耦合。如果 `repo` 初始化失败（例如数据库连接断开），`repo` 不会存在于 `locals()` 中。此时即使 `self.request.retries >= self.max_retries` 为真（已达重试上限），整个 `if` 块也会被跳过，直接执行后续的 `raise self.retry(...)`。这将导致任务忽略 `max_retries` 限制，陷入无限重试或直至 Celery 全局上限，造成资源浪费和日志堆积。 - 修改建议：应将“重试上限判断”作为外层或独立条件。无论 `repo` 是否存在，只要达到重试上限，都应停止重试。建议修改逻辑如下： ```python if self.request.retries >= self.max_retries: if "repo" in locals(): try: # ... mark failed logic ... except Exception as inner: # ... error handling ... return {"ok": False, ...} # 达到上限必须返回，停止重试 ``` ### 💡 改进建议（不阻塞合并） 1. **[apps/worker/worker_app/tasks/duplication_check.py: 186] 返回值语义与任务状态不符** - 具体内容：当任务达到重试上限并失败时，代码返回了字典 `{"ok": False, ...}`。在 Celery 中，显式返回值会使任务状态被标记为 `SUCCESS`。如果下游系统或监控依赖 Celery 的任务状态（如 `on_failure` 回调、Flower 监控面板）来判断任务失败，这些任务将被误判为成功。建议确认业务逻辑是否依赖返回值内容判断成败，如果是，则当前代码可行；如果不是，建议抛出异常（如 `raise MaxRetriesExceededError("...") from e`）以使 Celery 正确记录 `FAILURE` 状态。 ### ✅ 良好实践 - 增加了针对 `repository.update` 调用 `session.commit` 的单元测试，确保了数据持久化的可靠性。 - 代码注释清晰，明确区分了“超过重试上限”和“未达上限”的处理逻辑分支。 - 异常处理中保留了 `exc_info=True`，便于排查堆栈信息。 --- _{🤖 由 AI 代码审查机器人自动生成 | 2026-09-04 03:30:58 | 模型:} <!-- AI_CODE_REVIEW_AUTO_COMMENT -->

auto-approve-bot merged commit 0542654ca8 into develop 2026-09-04 11:38:12 +08:00

auto-approve-bot deleted branch fix/duplication-ci-coverage-retry 2026-09-04 11:38:12 +08:00

gitea-actions bot commented 2026-09-04 11:38:32 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1680 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1680 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this pull request 2026-09-04 23:31:28 +08:00

Release: 同步 develop 到 main（PR #1654~#1698 全量同步） #1699

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1680