feat: #1970 片段级 AI 标签 + 叙事加权匹配 + 冗余核查 #1981

Merged

xiaoxia merged 1 commits from feat/1970-ai-tagging-and-cleanup into develop 2026-09-18 21:08:02 +08:00

Conversation 2 Commits 1 Files Changed 14

+1397 -5

xiaoxia commented 2026-09-18 20:39:41 +08:00

Owner

Copy Link

Copy Source

概述

#1970 智能剪辑流程重构 P2 功能：片段级 AI 标签识别 + 叙事模式加权匹配

冗余代码核查（Task 2）

• scripts_ai.py：无 yt-dlp/cookies/ttwid 死代码 ✅
• distribute_assets：plan_generator_service.py 仍活跃使用，不可删
• editing_mode (ONE_TAKE/PIP/VOICE_PIP)：模板系统深度依赖，已标 deprecated 保留兼容
• douyin_resolver.py：未配置 key 的源已正确跳过
• TODO 标记：仅 2 个支付相关合法占位
• 结论：无需清理

片段级 AI 标签（Task 1）

新增能力

1. DoubaoClient 视觉扩展：新增 vision_completion() 多模态方法，支持图片 base64/URL 输入
2. atom_clip_tagger.py：核心标签模块
   • MediaKit 抽 3 帧（首/中/尾）→ 豆包视觉 API 识别 → 结构化标签
   • 降级：MediaKit 不可用 → ffmpeg 本地抽帧；视觉 API 失败 → 仅继承素材标签
3. Celery 任务链：generate_atom_clips → tag_atom_clip（异步链式触发）
4. 叙事加权匹配：片段级 AI 标签权重 2.0，素材级标签权重 1.0
5. 批量回填：backfill_atom_clip_tags 任务（限频 N=10/M=5s 防 API 爆量）
6. Migration 081：asset_atom_clips 加 ai_tags JSON 列

标签结构

{"scene": ["工厂"], "objects": ["产品"], "action": ["演示"], "shot": "特写", "has_text": false, "inherited_tags": ["tag_id_1"]}

降级策略

• DoubaoClient 不可用 → 仅继承素材标签
• MediaKit 抽帧失败 → ffmpeg 本地抽帧
• 视觉 API 超时/失败 → 仅继承素材标签
• 任何环节失败都不阻断主流程

测试

• 新增 42 个测试（17 tagger + 25 加权匹配）
• 全量 15796 passed / 28 skipped

文件变更（14 files）

• packages/config/base.py：新增 doubao_vision_model 配置
• packages/shared/ai_client.py：vision_completion() 多模态方法
• packages/domain/asset_atom_clip.py：加 ai_tags 字段
• packages/domain/atom_clip_tagger.py：核心标签模块（新增）
• packages/domain/narrative_match.py：AI 标签加权匹配
• packages/adapters/sqlalchemy_impl/models.py：ORM ai_tags 列
• packages/adapters/sqlalchemy_impl/asset_atom_clip_repository.py：update_ai_tags / find_untagged
• alembic/versions/081_atom_clip_ai_tags.py：migration
• apps/worker/worker_app/tasks/atom_clip_tagging.py：tag_atom_clip 任务（新增）
• apps/worker/worker_app/tasks/backfill_atom_clip_tags.py：批量回填（新增）
• apps/worker/worker_app/tasks/atom_clips.py：链式触发 tag 任务
• apps/worker/worker_app/tasks/__init__.py：注册新任务
• tests/unit/test_1970_atom_clip_tagger.py（新增）
• tests/unit/test_1970_narrative_clip_weighted.py（新增）

## 概述 #1970 智能剪辑流程重构 P2 功能：片段级 AI 标签识别 + 叙事模式加权匹配 ## 冗余代码核查（Task 2） - scripts_ai.py：无 yt-dlp/cookies/ttwid 死代码 ✅ - distribute_assets：plan_generator_service.py 仍活跃使用，不可删 - editing_mode (ONE_TAKE/PIP/VOICE_PIP)：模板系统深度依赖，已标 deprecated 保留兼容 - douyin_resolver.py：未配置 key 的源已正确跳过 - TODO 标记：仅 2 个支付相关合法占位 - **结论：无需清理** ## 片段级 AI 标签（Task 1） ### 新增能力 1. **DoubaoClient 视觉扩展**：新增 `vision_completion()` 多模态方法，支持图片 base64/URL 输入 2. **atom_clip_tagger.py**：核心标签模块 - MediaKit 抽 3 帧（首/中/尾）→ 豆包视觉 API 识别 → 结构化标签 - 降级：MediaKit 不可用 → ffmpeg 本地抽帧；视觉 API 失败 → 仅继承素材标签 3. **Celery 任务链**：`generate_atom_clips` → `tag_atom_clip`（异步链式触发） 4. **叙事加权匹配**：片段级 AI 标签权重 2.0，素材级标签权重 1.0 5. **批量回填**：`backfill_atom_clip_tags` 任务（限频 N=10/M=5s 防 API 爆量） 6. **Migration 081**：`asset_atom_clips` 加 `ai_tags` JSON 列 ### 标签结构 ```json {"scene": ["工厂"], "objects": ["产品"], "action": ["演示"], "shot": "特写", "has_text": false, "inherited_tags": ["tag_id_1"]} ``` ### 降级策略 - DoubaoClient 不可用 → 仅继承素材标签 - MediaKit 抽帧失败 → ffmpeg 本地抽帧 - 视觉 API 超时/失败 → 仅继承素材标签 - **任何环节失败都不阻断主流程** ## 测试 - 新增 42 个测试（17 tagger + 25 加权匹配） - 全量 15796 passed / 28 skipped ## 文件变更（14 files） - packages/config/base.py：新增 doubao_vision_model 配置 - packages/shared/ai_client.py：vision_completion() 多模态方法 - packages/domain/asset_atom_clip.py：加 ai_tags 字段 - packages/domain/atom_clip_tagger.py：核心标签模块（新增） - packages/domain/narrative_match.py：AI 标签加权匹配 - packages/adapters/sqlalchemy_impl/models.py：ORM ai_tags 列 - packages/adapters/sqlalchemy_impl/asset_atom_clip_repository.py：update_ai_tags / find_untagged - alembic/versions/081_atom_clip_ai_tags.py：migration - apps/worker/worker_app/tasks/atom_clip_tagging.py：tag_atom_clip 任务（新增） - apps/worker/worker_app/tasks/backfill_atom_clip_tags.py：批量回填（新增） - apps/worker/worker_app/tasks/atom_clips.py：链式触发 tag 任务 - apps/worker/worker_app/tasks/__init__.py：注册新任务 - tests/unit/test_1970_atom_clip_tagger.py（新增） - tests/unit/test_1970_narrative_clip_weighted.py（新增）

xiaoxia added 1 commit 2026-09-18 20:39:42 +08:00

feat: #1970 片段级 AI 标签 + 叙事加权匹配 c24d00dc80

gitea-actions bot commented 2026-09-18 20:41:30 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1981
预览链接	https://pr-1981.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1981 | | 预览链接 | [https://pr-1981.preview.xiaoxiajianji.com](https://pr-1981.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

xiaoxia merged commit 7e88440ca9 into develop 2026-09-18 21:08:02 +08:00

gitea-actions bot commented 2026-09-18 21:09:07 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1981 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1981 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this pull request 2026-09-19 01:09:32 +08:00

feat: #1970 hflip 按 atom_clip ai_tags.has_text 放开 + 修复 develop migration 双头 #1985

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

2 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1981