543 Commits

Author	SHA1	Message	Date
saas-backend-agent	cd5d845803	fix(#1749): confirm 不传 voice_ids（#1749 已废弃该字段），断言改为空列表	2026-09-07 08:25:49 +08:00
saas-backend-agent	57c1e236b6	fix(#1749): confirm 路径补传 voice_ids 保留原值（DB 列只读口径一致）	2026-09-07 08:25:49 +08:00
saas-backend-agent	95a274ed00	style(#1749): black/isort/ruff 格式化 + mypy 类型修复（dict 标注、zip strict、重试 Command 去 voice_ids）	2026-09-07 08:25:49 +08:00
saas-backend-agent	7a4792773b	feat(#1749): variant-plans 轻量选片接口 + 配音严格守卫 + 批量变体 plan 重构（变体0 clone/配音时长分配）	2026-09-07 08:25:49 +08:00
saas-backend-agent	b0de7e9469	wip(#1749): variant_plan_selector 三轮素材级去重 + edit_plan_service 配音分配/变体plan确保（checkpoint）	2026-09-07 08:25:49 +08:00
saas-backend-agent	ed09794f4d	fix(#1743): smart-match排序注入随机噪声 + 素材使用次数按成片实际片段计数回写 ... 1. smart-match 排序零随机修复（主因）： - smart_select_assets 排序/多样性分桶注入 0~SCORE_RANDOM_NOISE_MAX 随机噪声， 同分/近分素材每次选出不同组合与顺序；分差>20的高质量素材保持稳定优先级 - 噪声以 asset.id 为 key 同次调用内一致；r.score 始终为无噪声原始分 - 支持 rng 注入（测试可复现）；smart-match API/正式生成/模板编辑器三调用点全受益 2. 素材使用次数口径修复： - mark_asset_used_for_generation 新增 times 参数，按成片实际渲染片段引用次数累加 - worker 回写从 task.asset_ids（请求列表，含未被plan选用的素材）改为 统计最终成片 plan 的 edit_plan_clips（同素材多片段复用按片段数累加） - 抽 _count_plan_clip_asset_usage/_record_rendered_asset_usage 纯函数（可单测） - plan 无有效片段时兜底 task.asset_ids 单次计数；单素材失败不阻断其他 3. 测试：22 新测试（噪声 10 + 回写计数 12）；旧确定性排序断言注入零噪声 rng； 修复 test_distribute_assets 预存在 flaky（shuffle 未被零噪声 patch 覆盖）	2026-09-06 19:48:08 +08:00
xiaoxia	0469272bd6	fix(#1743): 批量变体独立选片——完整重跑单视频选片+批次20%重叠避让+查重超阈重渲+封面独立 (#1745) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-06 18:07:24 +08:00
xiaoxia	54916aff86	fix(#1714): 同名兜底去重误杀新视频 + ingest 链路孤儿清理/启动恢复 (#1734) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-06 13:41:26 +08:00
xiaoxia	70dde8cbfb	feat(#1714): prepare_direct_upload 去重 + 预建 PROCESSING asset 占位 (#1730) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-06 12:31:38 +08:00
xiaoxia	528f56254d	feat(#1718): PATCH /auth/me 资料更新接口 + profile_completed 字段 (#1728) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-06 12:06:58 +08:00
saas-backend-agent	5ca64898b7	feat(#1719): 微信账号绑定/解绑三接口（GET bind/url、POST bind、DELETE bind）+ /me 返回 wechat_bound ... - WechatBindUseCase：绑定到当前登录账号不建新号；openid/unionid 已绑其他账号 409；已绑同一微信幂等 - WechatUnbindUseCase：解绑前守卫——必须有已验证手机或真实已验证邮箱（随机密码 hash/占位邮箱不算兜底，口径同 binding_complete） - /auth/me 增加 wechat_bound 字段，供设置页判断绑定状态 - state 复用 RedisStateStore CSRF 校验；22 个新单测，diff coverage 100%	2026-09-05 21:31:44 +08:00
saas-backend-agent	f11b71361d	feat(#1718): 微信 state 存储 Redis 化 + 回调 UA 日志 + 中文昵称 UTF-8 修复 ... - state store 改 Redis（复用 celery Redis，key 前缀 wechat:state:， TTL 10 分钟）：SET NX EX 写入，Lua 脚本原子 GET+DEL 一次性消费 （兼容 Redis <6.2 无 GETDEL）；Redis 不可用时自动降级内存，登录不中断； 容器重启/多实例后 state 不丢，修复 worker 扩容后回调 state 失效 - /wechat/callback 加可观测日志：User-Agent（识别 MicroMessenger 微信内置浏览器）、state 校验结果、失败上下文，便于排查回调停滞 - 修复微信中文昵称乱码：sns/oauth2/access_token 与 sns/userinfo 响应在 .json() 前显式 encoding=utf-8（微信响应头不带 charset， requests 默认 ISO-8859-1 解码导致中文乱码） - 15 个新单测（全 mock/fake，CI 无 redis 也覆盖）：Redis state 存取/一次性消费/eval 降级/异常降级内存/ping 失败降级、中文昵称 UTF-8 解析、errcode 透传、callback 路由日志分支、工厂降级分支	2026-09-05 20:45:02 +08:00
saas-backend-agent	6a1ec20e68	test(#1714): 补 mock redis 覆盖率测试，diff coverage 98% ... CI runner 无本地 redis，purge/revoke 与路由持久化的真实 redis 测试 全部 skip 导致这些改动零覆盖、diff coverage 45% 未达 60% 门禁： - 新增 test_orphan_guard_purge_mocked_1714.py（31 测试，全 mock）： _extract_business_ids 各形态（三元组/裸 args/dict args/坏 JSON/坏 base64/空 args）、_purge_one_queue（biz/celery id 双匹配命中、未命中 rpush 保序、全删不 rpush、解析失败保守保留、lrange/重写异常）、 purge_stale_messages_from_queues（空 ids 早退、redis 未安装、连接失败、 close 异常）、revoke_and_purge（逐条 revoke、异常不阻断、空 id 跳过） - 新增 test_persist_celery_id_routes_1714.py（9 测试）：ingest_jobs / task_center 重试 / upload helper 的 celery_task_id 持久化正常与异常 吞掉分支、task_enqueue 持久化失败仍入队成功、celery_app 队列配置 异常不阻断启动（用独立模块对象加载，不 reload 污染 task_enqueue）、 仓储 update 落库 celery_task_id - chunked_upload 完成回调去重：改为复用 upload._persist_celery_task_id	2026-09-05 19:52:50 +08:00
saas-backend-bot	df99305dd6	feat(worker): celery 队列隔离 + 孤儿任务消息作废 (#1714) ... 问题：素材转码与视频生成共用 celery 默认队列、worker 单进程消费， 20+ 转码积压会把用户生成任务堵 40 分钟以上；孤儿清理把任务标 failed 后 Redis 队列消息未作废，消息被重投导致 failed→running 非法转换， worker 打印 ERROR 后继续产出半成品。 队列隔离： - 新增 packages/shared/celery_queues.py：generation/transcode/celery 三队列与 task_routes（generate_video→generation；ingest_asset/ classify_asset/duplication→transcode），apply_queue_settings() - worker 入口改双进程：generation worker 独占队列并内嵌 beat （prefetch=1, GENERATION_CONCURRENCY 默认 2），transcode worker 消费 transcode,celery（并发=总-2，最小 1），任一退出则整体终止 - compose/部署脚本/ps1 同步新增 GENERATION_CONCURRENCY 与健康检查 消息作废： - 新增 packages/shared/celery_orphan_guard.py：终态守卫 ensure_task_claimable、Redis 队列消息物理清理（JSON 信封解析， 按业务 id + celery headers.id 双匹配，未命中 rpush 保序）、 revoke_and_purge（control.revoke + 物理清队列双保险） - 入队点（生成/上传/分片/重试）send_task 后持久化 celery_task_id 到 generation_tasks/ingest_jobs（新列，067 迁移，失败仅 warning） - generate_video/ingest_asset 执行前校验 DB 状态：终态直接 discarded 不进业务逻辑；mark_processing 返回 False（非法转换）安全中止 - 孤儿/超时清理标 failed 时同时 revoke + 清队列消息 - pending 超时阈值 15→45 分钟，与 running 孤儿(20min)区分 测试：新增 22 个单测（路由表/真实 Redis 消息清理/终态守卫/ 非法转换中止/标 failed 后消息不重投/入队持久化），全量 14301 passed；067 迁移隔离 DDL 验证 upgrade/downgrade 通过。	2026-09-05 19:07:47 +08:00
xiaoxia	0a7ae8db4f	fix(upload): complete 接口幂等去重 + HEVC 转码回写占位 asset 禁止兜底新建 (#1714) (#1715) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 16:07:45 +08:00
xiaoxia	21c26b5b26	feat(generation): worker孤儿任务自动恢复 + 429限流结构化提示 (#1677) (#1710) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 11:37:49 +08:00
xiaoxia	28b3010668	fix(dedup): 修复查重率恒为0%——指纹绕开降重裁剪+局部片段复用+阈值校准+3个单位bug (#1702) (#1703) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 07:57:23 +08:00
xiaoxia	c1763b995c	feat(#1677): 多视频批量生成后端补全 — 批量预览变体数组 + 按变体独立标题/配音/封面 (#1701) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-05 00:44:24 +08:00
xiaoxia	452a484c5b	fix: 查重流程全面核实修复 — 两阶段持久化 + 重新计算查重API (#1664) (#1684) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 13:00:11 +08:00
xiaoxia	2205adb8fb	feat(worker): 手动查重 worker task + visual_similarity/match_count 字段 #1661 (#1679) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 01:28:35 +08:00
xiaoxia	4725d94c7e	feat(api): 成品视频接口补全查重字段 duplicate_rate/visual_similarity/match_count #1660 (#1678) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-04 01:03:35 +08:00
xiaoxia	159a62f9a5	Merge pull request 'feat: 跨视频片段避让 — 生成前注入已用区间 #1670' (#1671) from feat/cross-video-avoidance-1670 into develop	2026-09-03 22:42:03 +08:00
CI Bot	9d31818222	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-03 14:21:24 +00:00
saas-backend-agent	af4dd31dd1	feat: 跨视频片段避让 — 生成前注入已用区间 #1670 ... - Repository: list_used_segments_by_user() JOIN edit_plans 查用户最近 已完成 plan 的已渲染 clips，聚合为 {asset_id: [(start, end), ...]} - Domain: distribute_assets / _distribute_* 子函数新增 external_used_segments 参数，深拷贝注入 used_segments，让 _resolve_start_time 自动避让 - Service: _distribute_assets 新增 user_id 参数，预览和正式生成都查询 已用区间；查询失败时不阻塞，回退纯随机 - 12 个单元测试覆盖 Repository/Domain/Service 三层	2026-09-03 22:18:06 +08:00
xiaoxia	8ecf381a9d	Merge pull request 'feat: 分片指纹存储改造 + 存量指纹重建脚本 #1657' (#1669) from feat/fingerprint-chunks-1657 into develop	2026-09-03 21:08:37 +08:00
CI Bot	244691d335	style: auto-format with black + isort + prettier [skip ci-format-check]	2026-09-03 12:50:38 +00:00
saas-backend-agent	cbca0c3584	feat: 分片指纹存储改造 + 存量指纹重建脚本 #1657 ... ## 改动 ### 1. 新建 video_fingerprint_chunks 表（Migration 063） - 按时间分片存储 pHash + color_histogram - 索引：video_id, project_id, user_id ### 2. 新增 VideoFingerprintChunkModel - packages/adapters/sqlalchemy_impl/models.py ### 3. 改造 dedup.py 指纹计算 - compute_fingerprint() 改为按时间分片抽帧 - 短视频（≤60s）：每 2s 一片 - 长视频（>60s）：每 5s 一片 - VideoFingerprint 新增 chunks 字段（list of FingerprintChunk） - 向后兼容：keyframe_phashes/color_histograms 保留 - to_chunk_models() 方法转换为 SQLAlchemy Model - check_duplicate() 优先从分片表读取，回退到 JSON 字段 - check_duplicate_task() 写入分片表 ### 4. 改造 dedup_helpers.py - create_video_record_and_dedup() 同步写入分片表 ### 5. 存量指纹重建脚本 - apps/api/scripts/rebuild_fingerprint_chunks.py - 支持 --dry-run 和 --batch-size - 幂等：已有分片数据的视频跳过 ### 6. 单元测试（11 个） - 分片策略：60s→30片，120s→24片 - to_chunk_models() 输出正确 - _save_fingerprint_chunks 幂等性 - to_dict() 向后兼容 Closes #1657	2026-09-03 20:41:11 +08:00
xiaoxia	c7c30936a9	fix: 修复 voices.py 中 3 处 ruff B904 错误，解除 CI Validate-Style 阻塞 (#1667)	2026-09-03 20:35:06 +08:00
saas-backend-agent	229f9dddeb	feat: 正式生成时片段随机重排（降重，默认开启无开关）#1663 ... 在 _distribute_assets 方法中，smart_match 评分排序完成后、 distribute_assets 之前，对 asset_ids 做 random.shuffle。 - smart_match 决定选哪些素材（评分排序保留） - shuffle 只改变最终分配到 clips 的顺序 - scene_points 缓存不受影响（shuffle 之前已读取） - asset_ids 先 list() 复制再 shuffle，不修改调用方原列表 - 新增 3 个单元测试验证 shuffle 行为 Closes #1663	2026-09-03 20:01:25 +08:00
xiaoxia	6d2d63da7e	feat(voices): TTS时长修复 + 提取视频配音 + AI配音标识 (#1656) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-03 19:04:35 +08:00
xiaoxia	e6e4090f3c	feat(voice): 提取视频配音接口 + 素材来源标识 (#1654)	2026-09-03 18:33:53 +08:00
xiaoxia	ec45d71d2c	fix: 上传素材后视频库立即显示（创建 PROCESSING 状态 Asset） (#1644) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-03 14:56:35 +08:00
xiaoxia	1d9d0f1b2f	fix(ci): correct PG credentials in temp container DATABASE_URL + fix mypy no-redef	2026-09-03 10:28:34 +08:00
xiaoxia	451edc5f25	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:21 +08:00
xiaoxia	e6ad1a7a61	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:19 +08:00
xiaoxia	845479793e	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:17 +08:00
xiaoxia	925f0d2794	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:15 +08:00
xiaoxia	47d6ad874d	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:13 +08:00
xiaoxia	051707b244	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:11 +08:00
xiaoxia	4af4157133	fix(mypy+ci): resolve mypy errors and fix integration tests PG dependency	2026-09-03 09:46:08 +08:00
xiaoxia	24e66da061	feat: SceneChange 场景检测前置到渲染前 + 场景点缓存到素材 metadata (#1622) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-02 08:40:36 +08:00
xiaoxia	2c5600cfc9	feat: 素材选取评分注入随机噪声，降低成片查重率 (#1620) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-02 01:40:34 +08:00
saas-backend-agent	827d8aafe5	feat: 素材分配顺序随机打乱 + MediaKit SceneChange智能选帧 ... 1. 素材分配顺序随机打乱 - segments 处理顺序通过 random.shuffle 随机化 - clips_data 最终按原始 segment order 排序返回 - 打乱的是分配顺序，不影响播放顺序 2. MediaKit SceneChange 智能选帧 - mediakit_client.py 新增 detect_scene_changes 方法 - SceneChange 优先，失败降级到 TimeInterval（5秒间隔） - 后台任务 _update_mediakit_recommendations_async 改用 SceneChange - 各片段优先从不同镜头段选取起始时间 - analyze_videos 保留为 fallback - 所有降级路径：MediaKit不可用/SceneChange失败 → 保持随机start_time 3. 测试 - 新增 tests/unit/test_scene_change_shuffle.py (12个测试用例) - 更新 test_editor_clips_random_start.py 适配 shuffle 逻辑 - 全部 108 个相关测试通过 - ruff check 通过	2026-09-01 21:16:51 +08:00
xiaoxia	9d5ae7a5bc	feat: 素材选取路径接入 smart_match 评分，让用过降权真正生效 (#1615) ... feat: 素材选取路径接入 smart_match 评分，让用过降权真正生效 (#1615)	2026-09-01 20:37:25 +08:00
xiaoxia	4aeb1d5b66	fix(render): 修复生成视频时长短于模板要求时长 (#1614) ... fix(render): 修复生成视频时长短于模板要求时长 (#1614)	2026-09-01 20:00:12 +08:00
xiaoxia	a0c14db33c	feat(asset-dedup): 素材去重机制6项优化 — 调参+警告+贪心分配 (#1611) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-09-01 17:40:34 +08:00
xiaoxia	83cb632653	fix(clips): 自建模板 from-assets 400——直接查 clip_configs 表兜底 ... 根因：_get_template_segments 中 tpl_svc.list_clip_configs() 内部调用 get_template_or_raise → 模板主体在 edit_templates 新表不存在 → ValueError 被 except 捕获 → 回退旧 template_segments 表 → 数据已迁移 至 template_clip_configs → 返回空 → 400 "模板没有片段配置"。 修复：在 except 块与旧系统回退之间新增一段直接查 template_clip_configs 表的逻辑（SQLAlchemyTemplateClipConfigRepository.list_by_template）， 绕过主表校验，片段表自带 template_id 外键即可独立查询。 三级回退链： 1. 新模板系统（主表存在）→ 原逻辑不变 2. 主表不存在 → 直接查 clip_configs 表兜住（新路径） 3. 直接查表也失败 → 回退旧 template_segments 表 4. 全部失败 → 返回空 新增 8 个单测覆盖三级回退链全部路径。	2026-09-01 07:37:00 +08:00
xiaoxia	8e962b3af2	fix(smart-match): 过滤前置+余量/高频全过滤时空结果回退保留素材 ... 根因：路由旧实现先 smart_select_assets(limit=N) 截取 Top-N，再对这 N 条 做 usable/高频过滤，过滤后不回补。排名靠前素材恰好全部被排除时返回空 items，前端回退全选（smart-match 名存实亡）；usable 过滤在 limit 之后， 被排除名额也不从排名靠后候选回补。 修复： - 余量过滤、高频排除全部前置到评分/limit 之前，在全量候选上过滤 - 余量过滤后为空（全部可切区间耗尽）→ 回退保留全部候选 - 高频排除后为空或不足 limit → 回退保留全部可用素材（与旧逻辑一致） - 高频查询异常 → 跳过排除（不变） - 更新 test_all_exhausted_returns_empty → 回退语义 - 新增 test_smart_match_fallback.py 7 用例覆盖各回退路径	2026-09-01 00:43:57 +08:00
xiaoxia	afe78fb25f	feat: 成片 duplicate_rate 百分比 + 素材高频使用自动排除 (#1573) ... Co-authored-by: xiaoxia <dev@xiaoxiajianji.com> Co-committed-by: xiaoxia <dev@xiaoxiajianji.com>	2026-08-31 16:56:52 +08:00
xiaoxia	dc816991d6	fix(assets): smart-match 响应扁平化——item 顶层直出素材字段，修复自动选素材全链路 404/422 ... P0 线上事故：前端 smartMatchAssets 按 {items: AssetItem[]} 解析， items.map(a => a.id) 直接取 id；但后端 SmartMatchItem 为 {asset: AssetResponse, score, breakdown} 包装结构，导致 id 全为 undefined → GET /assets/undefined 404 连发、POST /clips/from-assets 携带 null 422，自动模式预览无法生成、标题不显示。 修复： - SmartMatchItem 改为继承 AssetResponse 的扁平结构：id/usable/ used_duration/available_duration/used_ratio 等素材字段全部在 item 顶层，前端拿到即可用；score/breakdown 评分字段保留 - 路由用 model_dump() 解包构造，packages.domain.smart_select_assets 域层 SmartMatchResult.asset 不动，generation_tasks 内部生成链路 （[r.asset.id for r in results]）零影响 - ClipsFromAssetsRequest 加 pre validator 过滤 null/空串/空白 id； from-assets 路由层二次归一化兜底，全非法时 400 而非 422/500 测试：扁平结构 3 用例（顶层 id/无 asset 包装/余量字段可读/评分保留）、 端点 TestClient 断言更新、from-assets 容错 4 用例；相关 95 用例全过	2026-08-31 13:35:05 +08:00