xiaoxia/xiaoxia-saas
1
0
Fork 0
Code Issues 11 Pull Requests 2 Actions Packages Projects Releases 7 Wiki Activity

[Feature] AI智能选片段接入MediaKit视频理解，替代硬编码fallback #1209

New Issue
Closed
opened 2026-08-01 18:05:06 +08:00 by xiaoxia · 1 comment
xiaoxia commented 2026-08-01 18:05:06 +08:00
Owner
Copy Link
Copy Source

背景

packages/shared/ai_service.py 的 _call_ai_recommend_service() 有真实的豆包LLM调用路径，但当豆包API不可用时，_fallback_recommend_clips() 降级为 time.sleep(0.5) + 硬编码 intro/showcase/outro 片段。生产环境如果豆包未配置，用户体验等同于AI是空壳。

目标

用 MediaKit 的视频理解API分析每个素材的内容（场景、动作、质量、语义），生成智能选片方案，替代硬编码fallback。

改动范围

  1. 后端：改造 packages/shared/ai_service.py
    • 新增 _mediakit_recommend_clips() 方法，调用 MediaKit 视频理解API
    • 将每个素材的视频URL发给MediaKit，获取内容标签+质量评分
    • 根据标签和评分，智能分配 intro/showcase/outro 角色
    • 调用链路：豆包LLM → MediaKit视频理解 → 硬编码fallback（三级降级）
  2. MediaKit接入：复用 #1208 中建立的 MediaKit client

验收标准

  • 豆包API不可用时，走 MediaKit 视频理解而非硬编码
  • 选片结果与素材内容相关（不是固定的intro/showcase/outro模板）
  • 三级降级链路通畅

优先级

P1 — 直接影响智能剪辑核心体验

负责人

saas后端程序员

## 背景 `packages/shared/ai_service.py` 的 `_call_ai_recommend_service()` 有真实的豆包LLM调用路径，但当豆包API不可用时，`_fallback_recommend_clips()` 降级为 `time.sleep(0.5)` + 硬编码 intro/showcase/outro 片段。生产环境如果豆包未配置，用户体验等同于AI是空壳。 ## 目标 用 MediaKit 的视频理解API分析每个素材的内容（场景、动作、质量、语义），生成智能选片方案，替代硬编码fallback。 ## 改动范围 1. **后端**：改造 `packages/shared/ai_service.py` - 新增 `_mediakit_recommend_clips()` 方法，调用 MediaKit 视频理解API - 将每个素材的视频URL发给MediaKit，获取内容标签+质量评分 - 根据标签和评分，智能分配 intro/showcase/outro 角色 - 调用链路：豆包LLM → MediaKit视频理解 → 硬编码fallback（三级降级） 2. **MediaKit接入**：复用 #1208 中建立的 MediaKit client ## 验收标准 - 豆包API不可用时，走 MediaKit 视频理解而非硬编码 - 选片结果与素材内容相关（不是固定的intro/showcase/outro模板） - 三级降级链路通畅 ## 优先级 P1 — 直接影响智能剪辑核心体验 ## 负责人 saas后端程序员
xiaoxia added the devops label 2026-08-01 18:05:06 +08:00
xiaoxia commented 2026-08-03 11:26:28 +08:00
Author
Owner
Copy Link
Copy Source

✅ 完成

PR #1224 已合并（commit 598e2b6f）

实现

  • MediaKitClient 新增 analyze_videos()（视频理解 + 异步轮询）
  • API路由层 _build_asset_analyses() 自动分析素材内容
  • _call_ai_recommend_service 支持 asset_analyses，视频内容注入 LLM prompt
  • 完整降级链：MediaKit不可用 → 空dict → 原有fallback

Staging E2E

  • ✅ 部署成功（CI build + Watchtower）
  • ✅ AI推荐端点正常（200 + 5 clips）
  • ✅ 降级逻辑验证通过

测试

  • 15新单测 + 260相关测试全绿
## ✅ 完成 **PR #1224** 已合并（commit 598e2b6f） ### 实现 - MediaKitClient 新增 analyze_videos()（视频理解 + 异步轮询） - API路由层 _build_asset_analyses() 自动分析素材内容 - _call_ai_recommend_service 支持 asset_analyses，视频内容注入 LLM prompt - 完整降级链：MediaKit不可用 → 空dict → 原有fallback ### Staging E2E - ✅ 部署成功（CI build + Watchtower） - ✅ AI推荐端点正常（200 + 5 clips） - ✅ 降级逻辑验证通过 ### 测试 - 15新单测 + 260相关测试全绿
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
P0
阻塞性，必须立即处理
 P1
高优先级
 P2
中优先级
 P3
低优先级/后考虑
 architecture
架构设计
 backend
后端相关
 blocked
阻塞中
 bug
Bug修复
 ci-bug
CI本身的bug
 ci-optimization
CI优化类任务
 ci-pipeline
CI流水线/workflow相关
 cleanup
代码清理
 devops
运维/部署/CI
 documentation
文档相关
 feature
新功能
 frontend
前端相关
 question
需要讨论确认
 ready
PR CI通过，可合并
 refactor
代码重构
No Label devops
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
auto-approve-bot xiaoxia
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1209
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?