feat(#2035): 语义标签增强 + 质量评分自动计算 + atom_clip caption/embedding #2036

Merged

auto-approve-bot merged 6 commits from feature/semantic-tags-quality-2035 into develop 2026-09-25 12:44:39 +08:00

Conversation 2 Commits 6 Files Changed 23

+1327 -102

xiaoxia commented 2026-09-25 11:14:33 +08:00

Owner

Copy Link

Copy Source

#2035 语义标签 / 质量评分 / AI选片 + 补充视觉检测

核心功能（6项）

1. narrative_match 修复 clip_ai_tags_by_asset 漏传 bug
2. 视频 READY 后自动 FFmpeg+NumPy 质量评分（5维100分）写 assets.quality_score
3. smart_match 接入 ai_semantic 20% + category_match 10%；权重调整为 quality 28/duration 22/recency 12/unused 8/ai 20/category 10
4. atom_clip 生成中文 caption（15-30字）
5. caption 生成 embedding 向量（doubao-embedding-large-text-240915）
6. 删除死代码 calculate_quality_score_real

补充功能（4项）

7. 物体检测：视觉 prompt 要求详细列出 3-8 个主要物体，合并进 ai_tags.objects
8. 人数+OCR：视觉 API 一次返回 person_count(0/1/2/3+) + text_content，不额外部署模型
9. scene_change_points：generate_atom_clips 在 metadata 缺切点时自动调 mediakit.detect_scene_changes 并写回 metadata，切点真正参与 _snap_to_scene 对齐
10. 自动分类：calculate_asset_quality 复用已下载视频顺带跑 AssetAnalyzer.classify() 完成9类分类写入 metadata.classification；smart_match 通过关键词映射从 script_tags 推断 expected_categories 加分

Fail-open

• 豆包不可用/embedding失败/scene检测失败/分类失败 → 全部降级不阻断主流程
• 所有视觉识别（objects/person_count/text_content/caption/scene/action/shot/has_text）一次视觉调用搞定

测试

• 2468 条相关单测全部通过
• Migration 085 新增 atom_clips.caption(Text)/embedding(JSON)

## #2035 语义标签 / 质量评分 / AI选片 + 补充视觉检测 ### 核心功能（6项） 1. narrative_match 修复 clip_ai_tags_by_asset 漏传 bug 2. 视频 READY 后自动 FFmpeg+NumPy 质量评分（5维100分）写 assets.quality_score 3. smart_match 接入 ai_semantic 20% + category_match 10%；权重调整为 quality 28/duration 22/recency 12/unused 8/ai 20/category 10 4. atom_clip 生成中文 caption（15-30字） 5. caption 生成 embedding 向量（doubao-embedding-large-text-240915） 6. 删除死代码 calculate_quality_score_real ### 补充功能（4项） 7. 物体检测：视觉 prompt 要求详细列出 3-8 个主要物体，合并进 ai_tags.objects 8. 人数+OCR：视觉 API 一次返回 person_count(0/1/2/3+) + text_content，不额外部署模型 9. scene_change_points：generate_atom_clips 在 metadata 缺切点时自动调 mediakit.detect_scene_changes 并写回 metadata，切点真正参与 _snap_to_scene 对齐 10. 自动分类：calculate_asset_quality 复用已下载视频顺带跑 AssetAnalyzer.classify() 完成9类分类写入 metadata.classification；smart_match 通过关键词映射从 script_tags 推断 expected_categories 加分 ### Fail-open - 豆包不可用/embedding失败/scene检测失败/分类失败 → 全部降级不阻断主流程 - 所有视觉识别（objects/person_count/text_content/caption/scene/action/shot/has_text）一次视觉调用搞定 ### 测试 - 2468 条相关单测全部通过 - Migration 085 新增 atom_clips.caption(Text)/embedding(JSON)

xiaoxia added 1 commit 2026-09-25 11:14:34 +08:00

feat(#2035): semantic tags + quality score + AI caption+embedding ... 01afc2cf69

- Fix: generation_tasks.py passes clip_ai_tags_by_asset to pick_narrative_assets
  so AI tags (weight 2.0) actually participate in narrative mode selection
- Feat: quality_score auto-computation via AssetAnalyzer on ingest
  (worker.calculate_asset_price celery task; fallback 50.0 on failure)
- Feat: smart_match adds ai_semantic dimension (20% weight) using Jaccard
  similarity between asset AI tags (scene/objects/action) and script tags
- Feat: atom_clip caption (10-30 Chinese chars) via Doubao Vision, saved to
  asset_atom_clips.caption (Text column, migration 085)
- Feat: atom_clip embedding vector via Doubao embeddings API, saved to
  asset_atom_clips.embedding (JSON column)
- Chore: remove dead calculate_quality_score_real wrapper
- Tests: 20 new unit tests covering caption parsing, ai_semantic scoring,
  narrative AI tag propagation, score weight changes; update existing tests
  for new fallback dict shape and reweighted dimensions
- Fail-open: tagging/embedding/quality failures never block main flow

xiaoxia changed title from feat(#2035): semantic tags + quality score + atom clip caption/embedding to feat(#2035): 语义标签增强 + 质量评分自动计算 + atom_clip caption/embedding 2026-09-25 11:14:47 +08:00

gitea-actions bot commented 2026-09-25 11:16:08 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#2036
预览链接	https://pr-2036.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #2036 | | 预览链接 | [https://pr-2036.preview.xiaoxiajianji.com](https://pr-2036.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot added 1 commit 2026-09-25 11:17:59 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] 1e51ab6b63

xiaoxia added 1 commit 2026-09-25 11:54:19 +08:00

feat(#2035): enhance vision tags, auto scene-detect & classify, category-match for smart_select ... f9b82ebe84

- Vision prompt一次性返回 objects(详细)/person_count(0/1/2/3+)/text_content/caption 共8个字段
- parse_vision_response 解析 person_count(int清洗)/text_content(截断100字)，所有fallback补齐
- atom_clips: metadata 缺 scene_change_points 时自动调用 mediakit.detect_scene_changes 并写回metadata（失败降级均匀切片）
- calculate_asset_quality 任务复用临时视频顺带做9类分类(AssetAnalyzer.classify)，写入 metadata.classification/classification_confidence，已有则幂等跳过
- smart_match 新增 category_match 维度(10%)，权重调整为 quality 28/duration 22/recency 12/unused 8/ai 20/category 10 = 100
- generation_tasks 通过 _CATEGORY_KEYWORDS 关键词映射从 script_tags 推断 expected_categories 并传入 smart_select_assets
- 单测：新增 person_count/text_content/objects 解析、category_match 权重、分类命中排序；适配新权重到 test_smart_match/test_smart_match_integration
- 2468 related tests pass

auto-approve-bot added 1 commit 2026-09-25 11:58:35 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] 01018a23f4

xiaoxia added 1 commit 2026-09-25 12:14:08 +08:00

fix(test): adjust smart_match_fallback quality gap for new weight (0.28) 3c705ff2b2

xiaoxia added 1 commit 2026-09-25 12:33:59 +08:00

test(#2035): add coverage tests for embed_text/infer_categories/update_caption_embedding/edge cases ... 6172ff2159

- Fix DoubaoClient.embed_text incorrectly decorated as @property
- Add 26 unit tests covering ai_client.embed_text success/failure/is_available
- Add _infer_expected_categories keyword matching tests
- Add parse_vision_response edge cases (person_count clamp/TypeError, text_content non-str, caption 80 truncation)
- Add normalize_tag None/non-str/whitespace tests
- Add narrative_match non-dict clip_tags skip test
- Add update_caption_embedding branch coverage (both/caption only/both None/not found)

auto-approve-bot merged commit 751f8ad84e into develop 2026-09-25 12:44:39 +08:00

auto-approve-bot deleted branch feature/semantic-tags-quality-2035 2026-09-25 12:44:42 +08:00

gitea-actions bot commented 2026-09-25 12:45:06 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #2036 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #2036 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

xiaoxia referenced this issue from a commit 2026-09-25 18:03:59 +08:00

fix(cover): 修复AI数字人封面打开崩溃 Cannot read properties of undefined (reading 'text') (#2036)

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#2036