#2034 fix: dedup_enabled 关开关时彻底关闭视觉/像素扰动 #2034

Merged

xiaoxia merged 98 commits from fix/dedup-gate-visual-pixel-2034 into develop 2026-09-25 09:50:45 +08:00

Conversation 2 Commits 98 Files Changed 2

+25 -13

xiaoxia commented 2026-09-25 08:48:23 +08:00

Owner

Copy Link

Copy Source

问题

降重开关 dedup_enabled 只控制了 edge_crop 和片段级 micro_transform，但多变体场景下的 visual_perturbation（hflip/zoom/speed/brightness）和 pixel_perturbation（noise/unsharp/curves/color_balance）不受开关控制——用户关了智能降重仍然会有视觉和像素级差异。

修复

1. unified_render_service.py - _get_visual_perturbation() 开头加守门：关开关时返回空 dict，渲染侧双重保险
2. edit_plan_service.py - _build_variant_config_update() 内读 source_plan.config.dedup_enabled，关了就不写入 visual_perturbation/pixel_perturbation
3. 保留合理多变体差异：节奏模板洗牌（rhythm_template）和 BGM 池差异化分配不受影响——这些是正常的批量变体差异，不属于降重扰动

影响

• dedup_enabled=True（默认）：行为完全不变
• dedup_enabled=False：edge_crop、片段级微变换、视觉扰动、像素噪声全部跳过；节奏模板/BGM/素材洗牌/选片噪声/转场随机化继续生效

## 问题 降重开关 `dedup_enabled` 只控制了 edge_crop 和片段级 micro_transform，但多变体场景下的 visual_perturbation（hflip/zoom/speed/brightness）和 pixel_perturbation（noise/unsharp/curves/color_balance）不受开关控制——用户关了智能降重仍然会有视觉和像素级差异。 ## 修复 1. **unified_render_service.py** - `_get_visual_perturbation()` 开头加守门：关开关时返回空 dict，渲染侧双重保险 2. **edit_plan_service.py** - `_build_variant_config_update()` 内读 `source_plan.config.dedup_enabled`，关了就不写入 visual_perturbation/pixel_perturbation 3. **保留合理多变体差异**：节奏模板洗牌（rhythm_template）和 BGM 池差异化分配不受影响——这些是正常的批量变体差异，不属于降重扰动 ## 影响 - `dedup_enabled=True`（默认）：行为完全不变 - `dedup_enabled=False`：edge_crop、片段级微变换、视觉扰动、像素噪声全部跳过；节奏模板/BGM/素材洗牌/选片噪声/转场随机化继续生效

xiaoxia added 96 commits 2026-09-25 08:48:24 +08:00

Merge develop into main - v0.1.121 1d59ee5336

Merge develop into main - v0.1.122 dbd956fc6e

Merge develop into main - v0.1.122 (prettier fix) 2371860f82

Merge develop into main - v0.1.123 d213a055a1

Merge develop into main - v0.1.124 8748b43070

Merge develop into main - v0.1.125 9b034764ad

Merge develop into main - v0.1.126 708662394f

test: trigger workflow after gitea upgrade 0d4904433e

cleanup: remove upgrade test file ef344e9ffc

ci: remove temporary debug workflow - test-ssh-secret.yml 0c9375ff32

fix(ci): 修复auto-merge缺少GITEA_API_TOKEN环境变量 ... df08161630

1. 给auto-merge.yml的两个merge step添加GITEA_API_TOKEN环境变量，复用REVIEW_GITEA_TOKEN secret
2. 修复tests.yml的checkout步骤GITHUB_TOKEN和Python命令
3. 给main分支ci-cd.yml的单元测试增加Redis服务，修复Celery相关测试失败

feat(ci): main分支auto-merge从定时改为即时合并 ... 7e5e412f7f

- 触发方式：pull_request事件（CI状态变更时）
- 合并条件：2门禁全绿 + 至少1个APPROVED + 无冲突 + 非草稿
- 安全措施：幂等保护、合并失败留评论、只合main
- 新增check_ci_status.py和check_pr_approval.py辅助脚本

chore: empty commit to re-trigger CI for auto-merge verification 728db0faf8

feat(ci): 添加auto-approve到main分支并适配main门禁规则 a1a272b833

Merge pull request 'feat(ci): main分支auto-merge从定时改为即时合并' (#464) from ci/main-auto-merge-instant into main b3ef7bb041

fix(ci): main??auto-merge/approve????Tests/test?? ... dfb2feef8a

- auto-merge.yml: main????Tests/test,?3???????
- auto-approve.yml: main??????????Tests/test
- ??#464???Tests/test???????????

chore(ci): 同步main分支CI配置与scripts/ci脚本 - 与develop对齐 ... 6eac0b2cf2

同步内容：
1. CI流水线配置（ci-pipeline.yml）与develop对齐
2. PR构建脚本docker_build_only.sh增加buildx→docker build回退
3. pre-build步骤worker基础镜像构建增加buildx回退
4. 单元测试脚本全量覆盖率改为仅报告不阻塞
5. diff-cover依赖加入requirements-dev.txt
6. worker base builder/runtime Dockerfile同步
7. test_config_oss.py clear=False→clear=True修复OSS污染
8. Frontend Lint增加prettier依赖

style: auto-format with black + isort + prettier d2409e16c1

fix(ci): staging E2E/API tests shell由sh改为bash 8322e2b6e2

chore(ci): P2端口收尾同步到main分支 (#798 #799) (#853) ... f03c9d5453

chore(ci): P2端口收尾同步到main分支 (#798 #799)

- docs: 新增统一端口分配清单文档 (PORTS.md)
- chore(ci): 端口变量命名统一 (chatops配置)

跳过ci-pipeline.yml的CI_PG_PORT改动：main分支无顶层env块，后续CI配置对齐时再同步。

chore(ci): 升级migration验证，新增4项检查 (#451) 同步到main ... 99a8ffa97b

同步#857 migration验证升级到main分支

新增：ci_env.sh共享变量、check_migration_naming.py命名检查
升级：validate_migration.sh 5阶段完整检查

feat(ci): ACR镜像自动清理增强版 - 同步到main（#524） ... a26fda1597

ACR镜像自动清理增强版同步到main：3种模式+白名单保护+cron/PR关闭/手动触发

chore(ci): 同步renovate.json5到main分支 ... e602439769

同步#876的renovate依赖自动更新配置到main，保持main和develop CI配置一致。

chore(ci): 同步金丝雀发布流水线到main分支（#450） 53c09e7d3c

sync(ci): 同步schedule类workflow修复到main分支 (#933) db07738178

sync(ci): 同步缺失的CI监控脚本到main分支 ... 5ae6c33bf6

同步2个CI监控脚本到main分支：scripts/ci_trigger_monitor.py、scripts/ci_code_review.py

fix(ci): 同步daily-check和acr-cleanup的docker兼容性修复到main (#1012) ... 77704e7ec6

cherry-pick #981的核心修复到main分支：
- daily-check.yml: checkout步骤改为curl step_checkout.sh方式
- acr-cleanup.yml: 同上，修复Setup Python秒败问题

相关PR: #981
相关工单: #980

fix(ci): daily-check shell从sh改为bash，修复PIPESTATUS Bad substitution (#1023) 561548c84c

fix(ci): daily-check DooD挂载路径修复 + shell bash修复 (#1024) 7fab42c3d0

fix(ci): 添加ci-gate汇总job，解决自动合并405问题 fb2884b03c

fix(ci): auto_merge.sh改用CI Gate统一门禁 504e2e71c9

feat: 格式自动修复对所有PR开放，添加防循环机制 (#1037) a6afb344ba

feat: AI代码审查添加commit status输出和阻塞级问题判定 (#1035) ... 5cdafd2559

- 为AI代码审查添加commit status输出，PR页面可直接看到审查结果
- 添加阻塞级问题判定逻辑，严重问题标记为failure状态
- 优化审查报告格式和输出精度

fix(ci): 格式修复防循环索引 + AI审查fail-open（2个bug修复） (#1045) ... 02e3246f5a

fix(ci): 修复auto_fix_formatting防循环索引错误 + AI审查fail-open未生效

1. 防循环索引bug：Gitea API返回commits倒序，commits[-1]取到最旧commit，改为commits[0]
2. fail-open bug：LLM调用失败和未捕获异常都是exit 1，改为exit 0不阻塞合并

fix(ci): pyproject.toml添加原生ruff配置，修复Code Quality全量检查失败 (#1074) 6efdfbe194

fix(ci): 修复CI Gate失败时返回exit 0的P0 Bug (main) (#1057) 7061d7e672

fix(ci): 修复2个P0级bug ... 3353865f5b

P0-1: acr-cleanup.yml 完全不可用
- $GITEA_OUTPUT → $GITHUB_OUTPUT（outputs写入完全失效）
- PREVIEW_SSH_KEY → STAGING_SSH_KEY（用错了密钥）
- 增加 STAGING_SSH_HOST/PORT/USER 从secret读取
- SSH连接用户从写死root改为变量

P0-2: production-e2e DooD模式下必然失败
- -v "$PWD:/workspace" 改为 docker create + docker cp 模式
- 与 staging-e2e 保持一致

Merge pull request 'fix(ci): 修复2个P0级bug - acr-cleanup完全不可用 + production-e2e DooD必然失败' (#1112) from fix/ci-p0-bugs-0728 into main ... 4749071c16

P0级bug紧急修复

fix(ci): add concurrency to pr-automation workflow ... 4587d0b014

- Add workflow-level concurrency group per PR number
- Enable cancel-in-progress to cancel old runs when new commits arrive
- Prevents multiple pr-automation runs for the same PR from wasting Runner resources

Issue: Same PR could trigger multiple auto-approve/auto-merge runs simultaneously,
occupying ci-check runners unnecessarily. With concurrency, only the latest run
executes, and older runs are cancelled automatically.

fix(ci): 将AI Code Review接入CI门禁体系，严重问题拦截合并 ... 1dd640da87

- 在ci-pipeline中新增code-review job，与code-review.yml逻辑一致
- 将code-review加入CI Gate的needs列表和REQUIRED_GENERAL检查项
- AI审查发现阻塞级问题时，CI Gate失败，阻止PR合并

问题：AI Code Review只发表评论不参与门禁，有严重安全/质量问题的代码也能合并。
修复：将code-review纳入CI Gate，审查脚本exit 1（阻塞级问题）时CI整体失败。
注意：LLM调用异常时脚本exit 0（fail-open策略），不阻塞正常合并。

fix(ci): 纯前端/纯后端PR跳过无关检查，节省Runner资源 ... cd3d366f4a

- frontend-lint: 添加check-frontend-only依赖，纯后端PR自动跳过
- build-pr拆分为build-pr-backend和build-pr-web两个job
  - build-pr-backend (API+Worker): 纯前端PR跳过
  - build-pr-web (Web): 纯后端PR跳过
- CI Gate分类调整：
  - REQUIRED_GENERAL: 仅保留真正的通用检查（code-quality/type-check/migration）
  - REQUIRED_BACKEND: 新增build-pr-backend
  - REQUIRED_FRONTEND: 新增frontend-lint和build-pr-web

问题：改前端文件也会跑后端测试和构建，反之亦然，浪费大量Runner时间。
修复：利用已有的check-frontend-only job输出，按PR类型跳过无关检查。
效果：纯前端PR节省约15分钟（API+Worker构建），纯后端PR节省约10分钟（前端Lint+Web构建）。

fix(ci): build-production等待测试通过后再构建生产镜像 ... c9e5129ec8

- 为build-production添加7个测试/检查job作为needs依赖
- 测试失败时不构建生产镜像，避免无效构建占用资源

问题：生产镜像构建和测试并行跑，测试失败了镜像也已经build完了，浪费构建资源。
修复：让build-production等所有核心测试通过后再开始构建。

fix(ci): auto-merge从轮询长作业改为短作业模式 ... 2818f44282

- auto_merge.sh: 去掉90次x30秒的轮询循环，改为单次检查
- 超时从45分钟缩短为3分钟
- CI未通过/未就绪时直接退出，不占用Runner
- 由pr-auto-scan每5分钟定时扫描兜底，CI通过后自动合并
- 保留405重试机制（单次运行内最多3次）

问题：auto-merge job轮询等待CI通过，最长占Runner 45分钟，资源浪费。
修复：改为短作业模式——检查一次CI状态，满足就合并，不满足就退出。
兜底：pr-auto-scan.yml每5分钟扫描所有open PR，CI全绿的自动审批+合并。

fix(ci): 修复daily-check.yml中两个job的outputs配置错误 ... 62967e078b

- staging-api-tests.outputs.report: steps.smoke → steps.report
  （smoke步骤输出的是api_report，不是report；report由report步骤输出）
- staging-e2e.outputs.report: steps.smoke → steps.e2e
  （staging-e2e的step id是e2e，不是smoke）

问题：两个job的outputs引用了错误的step id或变量名，导致汇总报告拿不到正确结果。
修复：修正outputs指向正确的step id和输出变量。

fix(ci): 统一preview-cleanup与preview-deploy的SSH默认配置 ... b73d75a3e4

- SSH_HOST默认值: 172.30.18.197 → 47.98.113.167（与preview-deploy一致）
- SSH_USER默认值: deploy → root（与preview-deploy一致）

问题：preview-cleanup的SSH默认值与preview-deploy不一致。如果PREVIEW_SSH_HOST等secret
未设置，部署和清理会连到不同的服务器，导致清理失效。
修复：统一为与preview-deploy相同的默认值，确保部署和清理在同一台服务器上。

fix(ci): 修复3个部署bug - 生产构建/Preview部署/镜像源 f3819653b8

fix(ci): 修复Staging部署和CI通知缺失脚本 ... 1addcffeba

- Bug4(P0): 新增scripts/ci_staging_deploy.sh - Staging环境部署脚本（pull镜像+migration+重启）
- Bug4(P0): 新增scripts/ci_staging_healthcheck.sh - Staging健康检查脚本（API/Worker/Web）
- Bug5(P1): 新增scripts/ci_notify.py - 飞书通知脚本（start/success/failure模式）

feat(ci): 基础镜像切换到私有ACR，更稳定 ... 3bea00aa56

- Bug6(P1): 所有Dockerfile基础镜像从daocloud切到私有ACR (xiaoxia-registry.cn-hangzhou.cr.aliyuncs.com/xiaoxiakeji/base/)
- 新增scripts/ci/sync_base_images.sh - 基础镜像同步脚本
- 覆盖: python:3.12-slim-bookworm / python:3.12-slim / node:20 / nginx:alpine

Merge remote-tracking branch 'origin/fix/daily-check-outputs' 5331307cbc

Merge remote-tracking branch 'origin/fix/preview-cleanup-ssh-default' 1eca707db3

Merge remote-tracking branch 'origin/fix/pr-automation-concurrency' 5e0dcaead8

Merge remote-tracking branch 'origin/fix/build-production-needs-tests' f8b3552a4e

Merge remote-tracking branch 'origin/fix/auto-merge-short-job' 682972469c

Merge remote-tracking branch 'origin/fix/pr-path-filter-skip' e2e91e1d58

Merge remote-tracking branch 'origin/fix/code-review-ci-gate' ... e23a60e98b

# Conflicts:
#	.gitea/workflows/ci-pipeline.yml

fix(ci): add @vitest/coverage-v8 for main branch coverage 076601b431

fix(ci): update package-lock.json for @vitest/coverage-v8 68c89861e9

fix(ci): exclude e2e directory from vitest ... e4997b9b4a

Fix Frontend Unit Tests failure on main branch by excluding e2e Playwright tests from Vitest.

merge(ci): sync CI scripts from develop - staging deploy/healthcheck/notify/build tools 89a8c8b6fb

fix(ci): restore execute permission for ci_notify.py and healthcheck script 545ff0fab8

fix(ci): main分支不自动部署staging（数据库版本不匹配） 12fb0a8e14

merge(ci): sync CI scripts from develop 6d5b860952

merge(ci): main分支不自动部署staging 5d18b76cea

fix(ci): 降低全量单元测试覆盖率门槛从65%到55%\n\n当前main分支总覆盖率约58%，65%的门槛导致每次push都失败。\n降低到55%确保CI正常通过，同时保留下降防护（低于55%仍会失败）。\nPR阶段继续通过diff-cover检查增量覆盖率。 57cd3d92dd

fix: 确认生成 API 改为复用 worker.generate_video 渲染路径 ... f988a028fe

- 新增 ConfirmGenerationRequest schema 和 POST /tasks/{task_id}/confirm 端点
- 确认生成复用 worker.generate_video 完整渲染路径（不再走 edit_plan_generation.py）
- 默认分辨率 1080x1920（竖屏），支持自定义封面和标题
- 新增字段: is_preview, source_task_id, output_width, output_height, cover_url, custom_title
- 贯穿 Schema → Domain → Application → DB Model → Repository → Worker 全链路
- 更新 task_center.py 和 generation_tasks.py 的重试逻辑传递新字段
- Alembic 迁移 034: 为 generation_tasks 表添加 6 个新列
- 7 个单元测试覆盖确认生成的正常/异常流程
- 使用 getattr 带默认值确保向后兼容

style: auto-format with black + isort + prettier [skip ci-format-check] d8dd510cba

fix: black formatting + update schema metadata snapshot d1b934970a

fix: use sa.true() for PostgreSQL boolean compatibility 72b30d7959

Merge pull request 'fix: 确认生成 API 改为复用 worker.generate_video 渲染路径' (#1308) from fix/confirm-generation-api into main 1e483b7bf9

chore: 同步 develop 到 main（2026-08-08 至 2026-09-01） ... 7f21252634

合并 develop 分支到 main，包含 100+ commits 的改动。
冲突解决策略：优先保留 develop 的版本。

ci: trigger CI for develop-main sync verification a65e6e293e

Merge pull request 'chore: 同步 develop 到 main（2026-08-08 至 2026-09-01）' (#1599) from sync/develop-to-main-v2 into main 86d9743909

Merge pull request 'chore: 同步 develop 到 main 2026-09-02（含53个 commits）' (#1623) from develop into main 419e763ad6

fix: 删除 main 上残留的重复 migration 034_add_confirm_generation_fields.py ... 2b9fcb08b6

该文件与 034_cms_enhance_placeholder.py 编号冲突（都以 034 开头）。
此文件仅存在于 main 历史中，develop 没有此文件且运行正常。
035 的 down_revision 已指向 034_cms_enhance，删除不影响迁移链。

ci: re-trigger CI (validate-style was infrastructure failure) 0e924c36e7

ci: re-trigger CI 1788316563 662de73a31

ci: retrigger CI ad5bc81604

Merge pull request 'fix: 删除 main 上残留的重复 migration 034' (#1624) from fix/remove-duplicate-034-migration into main d00a37fc31

fix(ci): 修复 tag 触发时 production deploy 被 skipped 的问题 ... 692d0b3c7e

- 从 build-production needs 移除 frontend-lint（tag事件时被skipped）
- if 条件加 !failure() && !cancelled() 确保 skipped 依赖不阻塞生产部署

chore: trigger CI retry 0c636fd913

Merge pull request 'fix(ci): 修复 tag 触发时 production deploy 被 skipped 的问题' (#1625) from fix/ci-production-deploy-skip into main 278208d31a

fix(main): add ci-canary.yml + disable pr-auto-scan schedule on main ... 1cd592c957

- Copy ci-canary.yml from develop (PR #1636) to enable 30-min health checks on main
- Disable pr-auto-scan.yml schedule on main (was still running */15, causing failure spam)
- Relates: PR #1635 (develop already had schedule disabled)

Merge pull request 'fix(main): add ci-canary.yml + disable pr-auto-scan schedule on main' (#1638) from infra/fix-main-workflows into main 83542cab86

Release: 同步 develop 到 main（PR #1649~#1653，含CI门禁+前端修复+worker修复） b0d6260617

Merge pull request 'Release: 同步 develop 到 main（PR #1649~#1653 全量同步）' (#1655) from release/sync-develop-20260903 into main 75478e3fed

Merge pull request 'Release: 同步 develop 到 main（PR #1654~#1698 全量同步）' (#1699) from release/sync-develop-20260904 into main 0c15e5be03

Merge pull request 'fix: 补充 auto-format 格式修复到 main' (#1700) from fix/style-main-sync into main d95ca5d723

fix(auth): 微信unionid账号打通 - 先unionid后openid查找 + 老账号补写unionid + 冲突去重保护 8c24e252e1

test(auth): 补充unionid补写/跨端绑定/冲突拒绝场景测试 0554b4b1dd

style: auto-format with black + isort + prettier [skip ci-format-check] 711d03a409

Merge pull request 'fix(auth): 微信 unionid 账号打通逻辑修复（老账号自动关联 + 查找顺序优化 + 冲突保护）' (#1738) from fix/wechat-unionid-account-linking into main 58d57033ea

release: 2026.09.14 智能剪辑批量变体P0修复+AI数字人MOV支持+代码审查重构 (#1885) 9ed3694d99

Merge pull request 'release v0.1.136: 智能剪辑批量变体P0修复+AI数字人MOV支持+代码审查重构' (#1886) from release/v0.1.136 into main 96b3d6ae12

release v0.1.137: 抖音多源轮询重构+ASR降级+文案库切换+积分系统+多个修复 a94c7ff3c8

#2034 fix: _get_visual_perturbation 加 dedup_enabled 守门，关开关时跳过视觉/像素扰动 755100f18e

#2034 fix: _build_variant_config_update 读 dedup_enabled，关开关时不注入 visual/pixel 扰动（保留节奏模板+BGM差异化） c0f86ae959

gitea-actions bot commented 2026-09-25 08:50:15 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#2034
预览链接	https://pr-2034.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #2034 | | 预览链接 | [https://pr-2034.preview.xiaoxiajianji.com](https://pr-2034.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

xiaoxia referenced this issue from a commit 2026-09-25 09:42:30 +08:00

#2034 fix: remove stray SHA footer from unified_render_service.py

xiaoxia added 1 commit 2026-09-25 09:42:30 +08:00

#2034 fix: remove stray SHA footer from unified_render_service.py 7c5c0009b2

xiaoxia referenced this issue from a commit 2026-09-25 09:42:30 +08:00

#2034 fix: remove stray SHA footer from edit_plan_service.py

xiaoxia added 1 commit 2026-09-25 09:42:30 +08:00

#2034 fix: remove stray SHA footer from edit_plan_service.py a27519287b

xiaoxia merged commit 1be658f72d into develop 2026-09-25 09:50:45 +08:00

gitea-actions bot commented 2026-09-25 09:54:47 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #2034 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #2034 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this issue from a commit 2026-09-25 10:40:40 +08:00

refactor(cover): AI数字人封面复用智能剪辑共享组件 (#2034)

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

2 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#2034