fix(vlm): 图片VLM分析牛头不对马嘴 — 改用视觉模型 + prompt结构化强化 #2114

Merged

xiaoxia merged 6 commits from fix/2114-vlm-vision-model-fix into develop 2026-10-01 10:32:48 +08:00

Conversation 2 Commits 6 Files Changed 10

+264 -46

xiaoxia commented 2026-10-01 10:07:20 +08:00

Owner

Copy Link

Copy Source

Root cause

packages/shared/ai_service.call_vision() 误调用 client.chat_completion（文本模型 doubao-seed-1.6-250615）发送多模态 content: [{type:text},{type:image_url}]。文本模型不识别图片 content-type → 返回 None → _step_image_analysis 的 except 静默吞掉 → fallback 到占位 {name:未识别} → 下游 intent/copy/storyboard 完全没有图片信息，自然胡编。

Fix

1. call_vision 改用 client.vision_completion（视觉模型 doubao-1-5-vision-pro-250915，已在 config.base.py 配置），正确走多模态 chat/completions 协议
2. 超时提到 60s，temperature 降到 0.2，增加 ```json 代码块剥离
3. 详细日志：INFO 打印 vision_model/image_url(前120)/prompt_len/模型原始返回前400字，下次直接 worker 日志可看到完整请求响应
4. Prompt 重写为结构化 JSON schema：字段 category/name/brand/colors/material_or_texture/key_features/visual_style/scene/target_audience_hint/text_on_image；明确『无法判断就填「无法判断」，不许编造』；key_features 只写外观可见特征，禁止编功效
5. _step_image_analysis 健壮化：空 images 早返回；每张图独立 try/except；None/str/dict/异常分别打 _source 标记方便排查
6. 下游 intent_parsing/copy_fusion/storyboard 兼容新字段 key_features/brand/category/colors/visual_style（同时向后兼容旧 features 字段）

Files changed

• packages/shared/ai_service.py: call_vision 修复为 vision_completion + 日志
• apps/worker/worker_app/tasks/viral_video.py: prompt 重写、_step_image_analysis 健壮化、下游 consumers 兼容新字段

Verification

• Python py_compile 全部通过
• 现有 viral_video / ai_client / prepare_dedup 单测全通过（43 passed）

## Root cause `packages/shared/ai_service.call_vision()` 误调用 `client.chat_completion`（文本模型 `doubao-seed-1.6-250615`）发送多模态 `content: [{type:text},{type:image_url}]`。文本模型不识别图片 content-type → 返回 None → `_step_image_analysis` 的 except 静默吞掉 → fallback 到占位 `{name:未识别}` → 下游 intent/copy/storyboard 完全没有图片信息，自然胡编。 ## Fix 1. **call_vision 改用 `client.vision_completion`**（视觉模型 `doubao-1-5-vision-pro-250915`，已在 `config.base.py` 配置），正确走多模态 chat/completions 协议 2. 超时提到 60s，temperature 降到 0.2，增加 ```json 代码块剥离 3. **详细日志**：INFO 打印 vision_model/image_url(前120)/prompt_len/模型原始返回前400字，下次直接 worker 日志可看到完整请求响应 4. **Prompt 重写为结构化 JSON schema**：字段 category/name/brand/colors/material_or_texture/key_features/visual_style/scene/target_audience_hint/text_on_image；明确『无法判断就填「无法判断」，不许编造』；key_features 只写外观可见特征，禁止编功效 5. `_step_image_analysis` 健壮化：空 images 早返回；每张图独立 try/except；None/str/dict/异常分别打 `_source` 标记方便排查 6. 下游 intent_parsing/copy_fusion/storyboard 兼容新字段 `key_features/brand/category/colors/visual_style`（同时向后兼容旧 `features` 字段） ## Files changed - packages/shared/ai_service.py: call_vision 修复为 vision_completion + 日志 - apps/worker/worker_app/tasks/viral_video.py: prompt 重写、_step_image_analysis 健壮化、下游 consumers 兼容新字段 ## Verification - Python py_compile 全部通过 - 现有 viral_video / ai_client / prepare_dedup 单测全通过（43 passed）

xiaoxia added 5 commits 2026-10-01 10:07:20 +08:00

fix(viral-video): fix 6 E2E bugs — fusion_level alias, concat silent segments, ingest lookup, duplicated URL, TTS voice/format, Seedance first-frame ratio ... cdce1b2e10

Bug1 (P0): schema accepts 'full_ai' as alias for 'ai_full' (Pydantic field_validator normalizes)
Bug2 (P0): concat_video_files probes each segment audio stream; Seedance gen_audio=False
       segments now marked has_audio=False so concat filter uses aevalsrc silence instead
       of failing with ffmpeg exit 234
Bug3 (P1): find_by_storage_key now queries (storage_key OR file_url) to cover historical
       data where the legacy file_url column held assets/<project>/<date>/... paths
Bug4 (P1): duplicated-hit response no longer accesses non-existent domain Asset.file_url;
       new helper _get_existing_asset_url uses storage_key (fallback file_url) through
       storage_service.get_url()
Bug5 (P1): _step_tts passes job.persona_id as voice_id (default longxiaochun_v3) and
       forces format='mp3' so downstream ffmpeg -map 1:a:0 works regardless of provider
Bug6 (P1): call_video_generation omits ratio param in first-frame (image_url) mode;
       ai_client.video_generation ratio becomes Optional[str] and is omitted from payload
       when None, fixing 400 InvalidParameter from Seedance

test: fix unit tests to match TTS import path and storage_service.get_url mock ... 09b8b2990f

- test_viral_video_p0: patch new apps.worker.services.tts_service_factory path,
  assert format='mp3' is passed
- test_prepare_dedup: storage_service.get_url.return_value = '' so
  DirectUploadPrepareResponse.url: str doesn't receive a MagicMock

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] a74be7c717

fix(tests+robustness): mock-safe status_code int-cast in ai_client; seedance test responses default 200 ... 3d8882c479

- test_ai_client_video: fake task/poll responses explicitly set status_code=200/text=''
  to avoid MagicMock()>=int TypeError leaking into retry logic
- ai_client.video_generation: wrap resp.status_code comparisons in try/except
  (int() cast) so any non-int status (MagicMock in tests) degrades to 200 instead
  of bombing out with TypeError during create/poll

fix(vlm): call_vision 走视觉模型而非文本模型 + 图片分析 prompt 结构化强化 ... 3a8ef857ac

根因（VLM 牛头不对马嘴）：packages/shared/ai_service.call_vision() 之前误用
client.chat_completion（文本模型 doubao-seed-1.6-250615）发送多模态 content list。
文本模型不认图片 content type → 返回 None → _step_image_analysis 的 except
静默吞掉 → fallback 到占位结果 {name:'未识别'} → 后续 intent/copy/storyboard
完全没图信息，自然胡编。

修复：
1) call_vision 改用 client.vision_completion（模型 doubao-1-5-vision-pro-250915），
   走标准 OpenAI 多模态 chat/completions + image_url 格式
2) 超时提到 60s，温度降到 0.2，解析 ```json 代码块包裹
3) 增加详细 INFO 日志：打印 vision_model/image_url/prompt_len/原始返回前 400 字，
   方便下次直接在 worker 日志排查
4) 重写 _IMAGE_ANALYSIS_PROMPT：强制结构化 JSON schema（category/name/brand/colors/
   material_or_texture/key_features/visual_style/scene/target_audience_hint/
   text_on_image），明确『无法判断就填无法判断，不许编造』，key_features
   只能写外观可见特征、不许编功效
5) _step_image_analysis 健壮化：images 为空/None/文本返回/异常分别落 _source 标记；
   每张图独立 try/except，单张失败不影响其他图
6) 下游 intent_parsing/copy_fusion/storyboard 兼容新字段 key_features/brand/
   category/colors/visual_style（同时向后兼容旧 features 字段）

gitea-actions bot commented 2026-10-01 10:10:08 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#2114
预览链接	https://pr-2114.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #2114 | | 预览链接 | [https://pr-2114.preview.xiaoxiajianji.com](https://pr-2114.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot added 1 commit 2026-10-01 10:11:12 +08:00

style: auto-format with black + isort + ruff + prettier [skip ci-format-check] a9cbe7d4c9

xiaoxia merged commit 1f8c8d033e into develop 2026-10-01 10:32:48 +08:00

xiaoxia deleted branch fix/2114-vlm-vision-model-fix 2026-10-01 10:32:51 +08:00

gitea-actions bot commented 2026-10-01 10:33:20 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #2114 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #2114 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot frontend-dev xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#2114