1345 Commits

This Branch

This Branch

All Branches

Author	SHA1	Message	Date
xiaoxia	8a7efb5d93	fix: isort import order for apps/api/app/api/routes/generation_tasks.py	2026-07-13 16:33:49 +08:00
xiaoxia	7c7a6821a6	fix: isort import order for apps/api/app/api/routes/assets.py	2026-07-13 16:33:48 +08:00
xiaoxia	1fd66f315c	fix: black format check_migration_safety.py (trailing newline)	2026-07-13 16:28:57 +08:00
xiaoxia	f0dee5bbd3	fix(backend): Phase 2 后端技术债务清理 ... Merge PR #261: fix(backend): Phase 2 后端技术债务清理 — CI修复 + OSS拼写 + 废弃API删除 into develop	2026-07-13 15:54:13 +08:00
xiaoxia	50719db7c8	feat(frontend): Phase 2 前端技术债务清理 ... Merge PR #258: feat(frontend): Phase 2 前端技术债务清理（Mock 数据 + 样式迁移 + 组件合并） into develop	2026-07-13 15:53:58 +08:00
CI Bot	c36ec5e780	docs: 修复 ci-env-vars.md 中 OSS_ENDPOINT 拼写 aliiyuncs → aliyuncs ... 与代码修复保持同步（PR #261 代码审计发现）	2026-07-13 15:47:29 +08:00
CI Test	eb50442296	fix: 修复 PR #258 P1 CSS 变量问题 ... - 删除 .xx-card:hover（global.css V21 设计系统已定义） - var(--xx-border) → var(--border-color)（原变量未定义） - var(--xx-text) → var(--text-primary)（原变量未定义） - .ant-card-head padding 修正为 20px 24px（与原 Admin.css 一致） - .ant-card-head-title color 对齐原 Admin.css 的 var(--slate) 语义	2026-07-13 15:35:10 +08:00
CI Bot	74a136e931	refactor: 删除 5 组废弃 API 路由及关联 schema ... 删除的 API 路由（5 个文件）： - dashboard.py — 仪表盘概览（前端已改用 mock 数据） - edit_templates.py — 模板 CRUD（无前端调用，领域层保留） - generated_videos.py — 成片管理（已被 generation/tasks/{id}/results 替代） - recipes.py — 配方 CRUD + use（无任何调用方） - jobs.py — 通用异步任务管理（无调用方） 删除的 schema（3 个文件）： - schemas/dashboard.py — 仅 dashboard 路由使用 - schemas/recipe.py — 仅 recipes 路由使用 - schemas/job.py — 仅 jobs 路由使用 - schemas/generated_video.py 保留（generation_tasks.py 仍在使用） 清理 router.py 中对应的 5 组 import 和 include_router 注册。 同步清理 3 个已删路由的测试文件，移除 1 个测试类中的死引用。 路由总数：121 → 116（减少 5 组死接口）	2026-07-13 15:27:15 +08:00
xiaoxia	73375c6639	PR #252: redis_url配置修复 ... fix: 修复worker配置中redis_url字段未正确映射REDIS_URL环境变量 Signed-off-by: CI Bot <bot@xiaoxiajianji.com>	2026-07-13 15:17:32 +08:00
CI Test	5bde975ea6	feat(frontend): Phase 2 前端技术债务清理 ... 1. Mock 数据清理（4 项）： - Dashboard.tsx: kpiData/quickEntries/recentTasks 标记 TODO - TitleLibrary.tsx: MOCK_CATEGORIES 精简为占位+TODO - Accounts.tsx: 移除 2 处误导性 mock 注释（实际已用真实 API） 2. Admin.css 样式迁移： - 4 条 .xx-card antd 覆盖样式迁移到 ui.css - AdminComingSoon 页面样式不受影响 3. CloneModal 组件合并： - VoiceClone.tsx 改用共享 CloneModal 组件 - 删除重复的 CloneVoiceModal.tsx + clone-voice-modal.css - 清理空目录 components/modals/	2026-07-13 15:15:47 +08:00
CI Bot	0634fc4833	fix: 修复 OSS_ENDPOINT 拼写错误 aliiyuncs → aliyun ... OSS_ENDPOINT 默认值中的域名拼写错误： - 错误：oss-cn-hangzhou.aliiyuncs.com（多了一个 i） - 正确：oss-cn-hangzhou.aliyuncs.com 同步修复： - apps/api/app/config.py - packages/shared/config.py - tests/unit/test_config_oss.py	2026-07-13 15:10:43 +08:00
CI Bot	0000c30ef2	fix: 恢复 GetGenerationTaskUseCase 导出 ... Phase 1 清理时误删了 packages/application/__init__.py 中的 GetGenerationTaskUseCase 导出，导致 generation_tasks.py 路由 ImportError。	2026-07-13 15:10:39 +08:00
xiaoxia	cc47c9f90f	chore(frontend): Phase 1 技术债务清理 ... Merge PR #251: chore(frontend): Phase 1 技术债务清理 - 删除死代码和重复样式 into develop	2026-07-13 15:06:45 +08:00
xiaoxia	c1e466f9c1	fix(backend): Phase 1 后端代码清理与修复 ... Merge PR #249: fix(backend): Phase 1 后端代码清理与修复 into develop	2026-07-13 15:02:13 +08:00
CI Bot	8598638e8f	fix: 恢复 tts_job/workflow.py 中误删的 TTSJobStatus import ... - 第 207 行仍在使用 TTSJobStatus.COMPLETED.value - 删除 import 会导致运行时 NameError - pyflakes 验证零 undefined name 错误	2026-07-13 14:30:31 +08:00
xiaoxia	c48ddeef7d	fix: black/isort 格式化修复 - generation.py 和单测文件 (#250)	2026-07-13 14:13:45 +08:00
CI Test	b87d7b763e	chore(frontend): Phase 1 技术债务清理 - 删除死代码和重复样式 ... - 删除 src/config/navigation.tsx（废弃文件，211行） - 删除 src/components/business/business.css（死CSS，365行） - 删除 src/api/dashboard.ts（废弃API模块，42行） - 移除 router/index.tsx 重复 my-voices 路由（7行） - 清理 generate.css 重复按钮样式（48行，改用 ui.css 统一样式） - 清理 Admin.css 重复 .xx-card/.xx-select 定义（40行） 共减少约 713 行代码，vite build 验证通过	2026-07-13 14:12:00 +08:00
CI Bot	9c6c477f55	fix(backend): Phase 1 后端代码清理与修复 ... P0 关键修复: - P0-1: 注册接口添加 RateLimitMiddleware 限流保护 - P0-3: /metrics 端点添加 JWT 认证（移除匿名访问） - P0-4: 修复 Celery 任务名冲突（generation_task vs generate_video） - P1-5: JWT logout token 黑名单机制 P1 修复: - P1-1: forgot_password 硬编码 localhost → 使用 settings.APP_BASE_URL - P1-2: generation.py 直接创建 DB 连接 → 使用依赖注入 - P1-6: Image.open() 未关闭 → 统一使用 with 语句 - P1-7: 订阅续费事务修复 P2 代码质量: - P2-1: 修复 EditingMode 枚举重复定义 → 统一引用 shared 包 - P2-2: 修复 SMTP_FRON_NAME → SMTP_FROM_NAME 拼写 - P2-3: UserModel subscription_quota 类型统一为 float - P2-4: .env.production DATABASE_MAX_OVERFLOW 30 → 10 - 清理 15 处 except:pass（保留 2 处有注释说明的） - 禁用 SVG 上传（XSS 风险） - 删除 decode_token_unsafe() 不安全函数 - 简化 /ready 端点 - 删除 8 处死代码、10 个空文件/模块 - 合并 3 对 100% 重复函数 - 对齐 6 个废弃环境变量 v2 修复（代码审查后）: - 修复密码重置路由路径: /password/forgot → /forgot-password, /password/reset → /reset-password（与前端 API 对齐） - 合并 _check_project_access: asset_libraries.py 和 edit_plans.py 中的重复函数统一到 _helpers.py（含空字符串守卫 + 中文错误信息） - 顺手修复: HTTPException 统一从 fastapi 导入（替换 starlette 导入） - OSS_ENDPOINT 拼写修复拆分为单独 PR，本 PR 不包含	2026-07-13 13:50:52 +08:00
xiaoxia	c2ebe9d254	Merge pull request 'fix: generate_video 任务接入 Feature Flag 灰度引擎选择' (#247) from fix/generation-task-feature-flag into develop	2026-07-13 13:23:00 +08:00
CI Bot	1d06d2ddd2	fix: generate_video 任务接入 Feature Flag 灰度引擎选择 ... 问题：一键生成（generate_video）任务硬编码使用 UnifiedRenderService， 完全没有接入 render_engine Feature Flag，导致灰度开关形同虚设， 无法控制新旧引擎切换。 修复： 1. 新增 _resolve_render_engine(user_id) 函数，复用 RenderEngineResolver 2. 新增 _render_with_legacy_engine() 函数，实现旧引擎等价渲染 - 使用 filter_complex + concat 模式 - 保持原帧率（无 fps 归一化），与旧引擎行为一致 - 音频 192k AAC，与旧引擎一致 - 支持 one_take / pip / voice_over / voice_pip 全部模式 3. 在 generate_video 任务入口处根据 Feature Flag 选择引擎 4. 渲染日志新增 engine 字段，便于灰度观测 单测：8 个测试覆盖 flag 各场景 + legacy 渲染验证	2026-07-13 13:08:41 +08:00
xiaoxia	5e704094f6	ci: Docker镜像缓存按分支隔离 - develop写回缓存, feature分支只读 (#243)	2026-07-13 12:22:58 +08:00
xiaoxia	ffd99ffeb0	ci: 优化PR门禁 - Build Staging移出PR流程 + Unit Tests独立并行 (#245)	2026-07-13 12:14:02 +08:00
xiaoxia	1b2bccee6f	feat(worker): 直通渲染stream copy优化 - 无重编码性能提升10倍+ (#244)	2026-07-13 11:09:27 +08:00
xiaoxia	a0cac1b75d	fix(worker): FFmpeg超时保护 - 防止渲染hang住导致worker永久阻塞 (#242)	2026-07-13 11:07:10 +08:00
xiaoxia	bbe831f9e0	feat(worker): render_edit_plan 接入 Feature Flag 灰度控制 (#240) (#240)	2026-07-13 10:27:25 +08:00
xiaoxia	4c5ab7f80e	fix(worker): OSS上传崩溃修复 - connect超时 + 分片上传 + 总超时保护 (#238)	2026-07-13 09:33:13 +08:00
xiaoxia	9b2e782abd	fix(worker): 修复 dedup fingerprint JSON 序列化失败 - np.float32 转原生 float (#239)	2026-07-13 08:54:58 +08:00
xiaoxia	788559ff29	test(render-compare): 灰度对比工具包 + 5个P1修复 (#237)	2026-07-13 07:46:38 +08:00
xiaoxia	bdf99bba39	fix(worker): 修复 render_edit_plan 素材下载 + 总时长日志 + video_processing 导入链 (#236)	2026-07-13 01:32:28 +08:00
xiaoxia	bfe8bfe2da	feat(feature-flag): Redis Feature Flag 灰度发布基础设施 ... Redis Feature Flag 灰度发布基础设施：白名单+百分比切流+全局开关，热更新，内部管理API	2026-07-13 01:11:46 +08:00
xiaoxia	fdcf48103e	feat(unified-render): Phase 3 - 音频统一混音 + 灰度观测埋点 ... Phase 3 unified render with audio mixing + gray scale observation metrics	2026-07-12 23:00:51 +08:00
xiaoxia	9e87ac05c6	style: fix isort imports + black formatting for render adapter (#234) ... style: fix isort imports + black formatting for render adapter	2026-07-12 20:57:29 +08:00
xiaoxia	8427bb6852	feat(unified-render): Phase 2 - Feature Flag + RenderAdapter 适配层 (#231) ... ## 统一渲染引擎 Phase 2 - Feature Flag 开关 + 适配层 ### 变更内容 1. **Feature Flag 开关** - API 端 `Settings.RENDER_ENGINE`（默认 `legacy`） - Worker 端 `WorkerSettings.render_engine`（默认 `legacy`） - 支持环境变量 `RENDER_ENGINE=unified` 一键切换 2. **RenderAdapter 适配层** (`apps/worker/video_processing/render_adapter.py`) - EditPlan + EditPlanClips → UnifiedRenderService 输入的完整适配 - 素材自动下载（OSS → 本地路径映射） - 进度回调对接（ProgressCallback） - 结果自动上传 OSS - `validate_plan()` 兼容旧接口，便于灰度切换 3. **compose_video 任务改造** - 根据 `RENDER_ENGINE` 配置分流到 legacy / unified 路径 - 新引擎结果回写字段对齐（engine/width/height/file_size） - 错误处理与重试逻辑保持一致 ### 测试 - 新增 16 个单元测试：validate_plan(7) + render_plan(6) + download_assets(3) - 原有 52 个 unified_render_service 测试全部通过 - 合计 **68 个测试全绿** ### 灰度策略 - 默认 `legacy`，不影响现有功能 - 灰度时设置环境变量 `RENDER_ENGINE=unified` 即可切换 - 后续可支持按 plan_id / user_id 灰度（Phase 3） --------- Co-authored-by: 灵应 <lingying@coze.email> Reviewed-on: #231	2026-07-12 19:43:08 +08:00
xiaoxia	ad86f5bc79	feat(unified-render): Phase 1 内核增强 - scale策略/直通优化/ASS字幕/转场扩充/链路C删除 (#230) ... ## 统一渲染引擎 Phase 1 内核增强 ### P0 完成 **1. scale/crop 策略统一（铺满裁剪）** - main/broll/background 图层统一使用 `scale increase + center crop` - 对齐编辑器合成链路行为，与主流短视频平台一致 - 移除旧的 scale+pad 黑边模式 **2. 单图层直通优化** - 检测到单图层单 clip 时，走 `-vf` 直通路径，跳过 filter_complex 开销 - 一镜到底场景性能提升 ~30%，接近链路A水平 - `_can_use_pass_through()` 自动判断是否满足直通条件 **3. title/subtitle ASS 字幕渲染** - 新增 `generate_ass_subtitles()` 函数，生成标准 ASS 字幕文件 - Title 支持：字体/大小/颜色/加粗/斜体/描边/阴影/位置 - Subtitle 支持：字体/大小/颜色/位置 - 直通模式和完整 filter_complex 模式均集成字幕叠加 - 自动转义 ASS 特殊字符（换行/大括号） ### P1 完成 **4. 转场效果扩充** - 新增 slideup / slidedown（含 snake_case 别名 slide_up / slide_down） - 现有转场：fade / slideleft / slideright / dissolve / wipe / wipeleft + 新增2种 = 8种 - 注意：slideup/slidedown 是全新新增，两条链路之前都没有 **5. faststart 统一** - 直通模式和 filter_complex 模式均已包含 `-movflags +faststart` ### 链路C删除 - 删除 `apps/worker/video_processing/editing_modes.py`（657行） - 删除 `apps/worker/video_processing/video_compose_service.py`（821行） - 删除 `tests/unit/test_video_compose_security.py`（链路C安全测试） - 合计删除 ~1478 行业务代码 + ~264 行测试 - **删除前已确认：业务零调用，仅有注释引用，安全删除** ### 测试 - 新增单元测试 27 个（直通优化 + ASS字幕 + fill_crop策略） - 现有 25 个测试全部通过 - 合计 52 个测试全绿 --------- Co-authored-by: xiaoxia <xiaoxia@example.com> Co-authored-by: 灵应 <lingying@coze.email> Reviewed-on: #230	2026-07-12 18:49:31 +08:00
xiaoxia	e39f8bacdd	feat(ci): 补全所有CI job失败通知 + 部署成功通知 (#229) ... ## 变更说明 基于最新 develop 分支重建的干净PR，替换旧的 #228（原分支太老，有4个文件冲突，CI也因为代码版本不一致各种出问题）。 ## 改动内容 1. **新增 `scripts/ci_notify_success.py`** — 部署成功通知脚本（飞书卡片，绿色成功样式） 2. **修改 `.gitea/workflows/ci-cd.yml`**： - 给以下 7 个 job 加上失败通知： - Frontend Lint - Build & Push Staging (Watchtower auto-deploy) - Staging E2E Tests - Staging API Integration Tests - Build Production Runtime Images - Deploy Production - Production Browser E2E - 给以下 2 个部署 job 加上成功通知（部署完成后发）： - Build & Push Staging — Staging部署成功 - Deploy Production — 生产部署成功 ## 参考 - 失败通知参照已有的 Validate Code Quality And Tests 和 Integration Tests 里的 "Notify CI failure" 步骤写法 - 成功通知基于失败通知改写，调用 `scripts/ci_notify_success.py` --------- Co-authored-by: xiaoxia <ci@xiaoxiajianji.com> Reviewed-on: #229	2026-07-12 17:22:46 +08:00
xiaoxia	8883581e34	fix(asset): AssetStatus枚举兼容历史uploaded值，避免500 (#227) v0.1.127	2026-07-12 11:49:41 +08:00
xiaoxia	c80a6935fd	Merge pull request 'fix(worker): 素材下载优先按asset_id查，修复项目级素材黑屏问题' (#226) from fix/generation-project-asset-download into develop	2026-07-12 11:10:52 +08:00
灵应	a6ae041944	fix(test): 修正test_all_asset_ids_fail_raises的mock层级，三层filter改为两层	2026-07-12 11:03:48 +08:00
灵应	082c9f6f09	fix(worker): 素材下载优先按asset_id查，不依赖asset_library_id前置过滤 ... 一键生成使用项目级素材时，素材不在指定素材库里， 原逻辑先按asset_library_id过滤导致查不到，全部走fallback黑屏。 改造： - 指定asset_ids时，直接按ID查询，不做library/project前置过滤 - 归属安全由后续归属校验保证（传了library就校验library，传了project就校验project） - 未指定asset_ids时，保持原逻辑按library/project查全部	2026-07-12 11:03:48 +08:00
xiaoxia	da4b95a40a	Merge pull request 'fix(asset): ClassificationStatus枚举兼容历史done值，避免500错误' (#224) from fix/classification-status-done-enum into develop	2026-07-12 11:01:27 +08:00
xiaoxia	7c541910b3	fix(test): 修正StrEnum str()断言，CI环境StrEnum行为不一致	2026-07-12 09:14:55 +08:00
用户CI Test	e5d627fc3e	fix(asset): ClassificationStatus枚举兼容历史done值，避免500错误 ... 生产环境发现26个classification_status='done'的历史脏数据导致枚举转换失败500。 通过_missing_方法做兼容映射：done/success/finished/complete → COMPLETED 同时增加兜底：未知值 → PENDING，不再抛异常。	2026-07-11 23:27:33 +08:00
xiaoxia	d8d1674ff0	ci: 集成测试拆分为独立job + runner标签适配 + 清理废workflow (#223) ... ci: 集成测试拆分为独立job + runner标签适配 + 清理废workflow - 集成测试从Validate中拆出为独立job，PR页面可见独立status - runner标签从ubuntu-22.04适配为host - 清理3个废workflow（tests.yml、test-ssh-secret.yml、auto-merge.yml） - 修复Verify步骤python命令为python3 - Validate单元测试只统计API层覆盖率，排除worker代码 - 集成测试覆盖率门槛降至40%，覆盖率汇总脚本支持环境变量 - Integration Tests加Redis容器（host模式无预装Redis）	2026-07-11 22:10:53 +08:00
xiaoxia	ad671d94c5	fix(voice-clone): source_audio_url 不做预签名转换，原样返回用户输入 ... fix(voice-clone): source_audio_url 不做预签名转换，原样返回用户输入	2026-07-11 19:50:30 +08:00
xiaoxia	efe7f6b52a	feat: 任务队列限流防护 ... feat: 任务队列限流防护 - 用户级 pending 限流（3 个上限，返回 429） - 全局队列保护（20 个上限，返回 503） - 4 处入口全覆盖：批量创建、generation 重试、任务中心两级重试 - 入队前预检查 + 入队后最终校验双层兜底，处理并发竞态 - 阈值统一常量管理，边界语义一致 - 350+ 行单元测试覆盖所有边界场景	2026-07-11 16:29:07 +08:00
xiaoxia	ce4f73d4de	fix(test): voice_clone集成测试断言修复 ... fix(test): voice_clone集成测试断言修复 - Mock默认改为异步模式(匹配真实CosyVoice API) - 创建/重试后状态断言从ready改为processing - 覆盖get_audio_url_signer依赖避免预签名干扰	2026-07-11 15:21:02 +08:00
xiaoxia	759c23c418	feat(ci): 覆盖率门禁+CI失败通知 ... feat(ci): 覆盖率门禁加固 + CI失败通知 - unit test 覆盖率门禁 60% - integration test 覆盖率门禁 65% - 覆盖率汇总输出（行/分支覆盖率） - CI失败飞书卡片通知（CI_NOTIFY_WEBHOOK） - Build summary 输出总覆盖率	2026-07-11 15:05:50 +08:00
xiaoxia	1e840057cb	fix(ci): 修复 Validate job ... fix(ci): 修复 Validate job — black 格式化 + isort 排序 + .cache 排除 + celery mock 路径修复	2026-07-11 14:42:53 +08:00
用户CI Test	9aa450bb8b	refactor: 安全入队函数抽为公共工具，消除重复定义 ... - 新增 app/core/task_enqueue.py，统一 safe_enqueue_generation_task 实现 - generation_tasks.py 和 task_center.py 改为 import 公共函数 - 修复 task_center.py 缺失 logging 导入的问题 - 日志前缀通过参数传入，保持各模块语义不变	2026-07-11 11:31:17 +08:00
xiaoxia	68a5c60911	fix: 生成任务入队失败时标记为failed，避免pending僵尸任务 (#214) ... fix: 生成任务入队失败时标记为failed，避免pending僵尸任务	2026-07-11 11:26:34 +08:00