fix(test): hevc 转码测试彻底移除 video_processing sys.modules mock 注入(39 用例跨文件污染修复) #1568

Merged
xiaoxia merged 5 commits from fix/test-hevc-mock-no-sysmodules into develop 2026-08-31 11:26:42 +08:00
+14 -27
View File
@@ -16,12 +16,11 @@ from types import SimpleNamespace
from unittest.mock import MagicMock, patch
# 在 import worker_app 模块前 mock 掉数据库连接和 celery(同 test_ingest_validation.py
# 注意:模块级 sys.modules 注入若不撤销,会污染同一 pytest 进程(含 xdist
# worker)后续收集/执行的其他测试文件——它们 from video_processing.xxx
# import 会拿到 MagicMock(表现为 test_thumbnail_generator 纯逻辑用例
# 断言到 <MagicMock>50 个用例失败,且与 xdist 分发顺序相关)。
# 因此在成功 import ingest_mod 之后立即恢复 sys.modules(同 test_dedup_pure.py
# 的做法),mock 对象仍由本文件变量/ingest_mod 引用持有,不影响本文件测试。
# 注意:只 mock worker_app 的依赖(db / celery),不 mock video_processing.*——
# 后者属于共享工具包,sys.modules 注入即使清理也会因 video_processing/__init__.py
# 的 `from . import oss_helpers` 导致包属性残留为 MagicMock,跨文件污染
# test_oss_helpers_pure / test_oss_upload_crash_fix / test_p02_worker_oss_fix
# 等测试文件(39 个用例失败)。改为直接 import 真实模块,patch.object 打补丁。
_SAVED_MODULES_KEYS = set(sys.modules.keys())
_mock_db_module = MagicMock()
@@ -41,32 +40,21 @@ def _passthrough_decorator(*args, **kwargs):
_mock_celery_module.celery_app.task = MagicMock(side_effect=_passthrough_decorator)
sys.modules["worker_app.celery_app"] = _mock_celery_module
# mock video_processing 子模块(主流程会 import 它们)
_oss_helpers_mock = MagicMock()
_thumbnail_mock = MagicMock()
sys.modules["video_processing.oss_helpers"] = _oss_helpers_mock
sys.modules["video_processing.thumbnail_generator"] = _thumbnail_mock
sys.path.insert(0, str(Path(__file__).resolve().parents[2] / "apps" / "worker"))
import pytest # noqa: E402
# ── 先导入真实 video_processing 子模块,再导入 ingest_mod ──
# 不使用 sys.modules 注入 mock,避免 video_processing/__init__.py 的
# `from . import oss_helpers` 与 mock 注入/清理产生时序冲突。
from worker_app.tasks import ingest as ingest_mod # noqa: E402
# ── 立即恢复 sys.modules,避免 mock 泄漏到其他测试文件 ──
# 本文件 patch.object 不依赖 mock 条目保留在 sys.modulesdownload_asset
# 已被 ingest_mod 顶部 from import 绑定;thumb patcher 是字符串目标,start
# 时会触发真实模块重新导入后再打补丁(真实模块 CI 可导入)。因此注入的
# mock 条目必须全部删除——若保留 video_processing.* mock,同 xdist worker
# 后续测试文件 import 仍会拿到 MagicMock#1566 v1 曾因此漏修)。
# ── 恢复 worker_app mock,避免泄漏到其他测试文件 ──
for _key in list(sys.modules.keys()):
if _key not in _SAVED_MODULES_KEYS:
if _key not in _SAVED_MODULES_KEYS and not _key.startswith("video_processing"):
del sys.modules[_key]
del _SAVED_MODULES_KEYS
# 导入真实模块供本文件 patch.object 打补丁(restore 后 sys.modules 中已无
# mock)。patch 在 stop 时会自动还原模块属性,不影响其他测试文件。
from video_processing import oss_helpers as _oss_helpers_real # noqa: E402
class _FakeJobRepo:
def __init__(self, db):
@@ -177,9 +165,8 @@ def task_env(tmp_path):
"job_repo": patch.object(ingest_mod, "SQLAlchemyIngestJobRepository", return_value=job_repo),
"asset_repo": patch.object(ingest_mod, "SQLAlchemyAssetRepository", return_value=asset_repo),
"download": patch.object(ingest_mod, "download_asset", return_value=True),
"upload": patch.object(
_oss_helpers_real,
"upload_to_oss",
"upload": patch(
"video_processing.oss_helpers.upload_to_oss",
return_value=control["upload_url"],
),
"metadata": patch.object(
@@ -200,7 +187,7 @@ def task_env(tmp_path):
),
"subprocess": patch.object(ingest_mod.subprocess, "run", side_effect=fake_subprocess_run),
"ntf": patch.object(tempfile, "NamedTemporaryFile", side_effect=fake_ntf),
# 缩略图生成跳过
# 缩略图生成跳过——字符串目标,patch.start 时从 sys.modules 取真实模块再打补丁
"thumb": patch(
"video_processing.thumbnail_generator.extract_first_frame",
side_effect=RuntimeError("skip thumb"),