perf(ci): Worker镜像瘦身 - 多阶段构建+ffmpeg静态替换+Python依赖瘦身 #340

Merged

xiaoxia merged 1 commits from feat/worker-image-slimming into develop 2026-07-15 07:49:15 +08:00

Conversation 1 Commits 1 Files Changed 1

+86 -30

xiaoxia commented 2026-07-15 07:41:29 +08:00

Owner

Copy Link

Copy Source

Worker 镜像瘦身优化

目标：从 1.59GB 降到 < 1GB（降幅 ~37%），缩短构建时间和部署时间。

优化项

1. 多阶段构建（预计节省 ~50MB）

   • builder 阶段安装 gcc/g++/binutils 等编译工具
   • runtime 阶段只保留运行时依赖，去掉构建工具链

2. ffmpeg 静态编译替换（预计节省 ~380MB）

   • 移除 apt-get install ffmpeg libsm6 libxext6 libgl1（约457MB）
   • 使用 johnvansickle.com 静态编译版本（约80MB）
   • 不依赖任何系统图形库

3. Python 依赖瘦身（预计节省 ~120MB）

   • strip .so 调试符号（~80-100MB）
   • 清理测试文件（~20MB）
   • 清理 pycache 和 .pyc（~10MB）
   • 清理 dist-info 文档

风险与验证

• opencv 兼容性：headless 版本不需要 libgl，但需要 libglib2.0-0，已保留
• ffmpeg 功能完整性：静态版包含常用编解码器，需验证 Worker 实际处理流程
• strip 安全性：标准操作，极少见兼容性问题

验证计划

1. CI 构建成功 -> 查看镜像大小
2. Staging 部署 -> 跑 E2E + 集成测试
3. Worker 实际任务验证 -> 视频转码、字幕生成等核心流程

## Worker 镜像瘦身优化 **目标**：从 1.59GB 降到 < 1GB（降幅 ~37%），缩短构建时间和部署时间。 ### 优化项 1. **多阶段构建**（预计节省 ~50MB） - builder 阶段安装 gcc/g++/binutils 等编译工具 - runtime 阶段只保留运行时依赖，去掉构建工具链 2. **ffmpeg 静态编译替换**（预计节省 ~380MB） - 移除 `apt-get install ffmpeg libsm6 libxext6 libgl1`（约457MB） - 使用 johnvansickle.com 静态编译版本（约80MB） - 不依赖任何系统图形库 3. **Python 依赖瘦身**（预计节省 ~120MB） - strip .so 调试符号（~80-100MB） - 清理测试文件（~20MB） - 清理 __pycache__ 和 .pyc（~10MB） - 清理 dist-info 文档 ### 风险与验证 - **opencv 兼容性**：headless 版本不需要 libgl，但需要 libglib2.0-0，已保留 - **ffmpeg 功能完整性**：静态版包含常用编解码器，需验证 Worker 实际处理流程 - **strip 安全性**：标准操作，极少见兼容性问题 ### 验证计划 1. CI 构建成功 -> 查看镜像大小 2. Staging 部署 -> 跑 E2E + 集成测试 3. Worker 实际任务验证 -> 视频转码、字幕生成等核心流程

xiaoxia added 1 commit 2026-07-15 07:41:29 +08:00

perf(ci): Worker镜像瘦身 - 多阶段构建+ffmpeg静态替换+Python依赖瘦身 aa3eb7884b

xiaoxia added 1 commit 2026-07-15 07:41:29 +08:00

perf(ci): Worker镜像瘦身 - 多阶段构建+ffmpeg静态替换+Python依赖瘦身 aa3eb7884b

xiaoxia reviewed 2026-07-15 07:48:13 +08:00

xiaoxia left a comment

Author

Owner

Copy Link

Copy Source

Review 通过 ✅

多阶段构建：

• builder 阶段装 gcc/g++/binutils 等编译依赖，runtime 阶段完全不带，瘦身幅度大
• venv 完整从 builder 复制到 runtime，标准做法

ffmpeg 静态编译替换：

• 从 apt 安装换成 johnvansickle 的静态二进制，省掉 ~350MB+ 的系统依赖
• ffmpeg/ffprobe 都复制到了 /usr/local/bin，路径没问题

Python 依赖瘦身：

• strip .so 调试符号：约 80-100MB，合理
• 清理 test 文件、pycache、dist-info 文档：都是安全的
• 注意 strip 可能影响某些带 C 扩展的库调试，但生产环境不需要

其他：

• runtime 只留 libglib2.0-0（opencv 依赖），删除了 ffmpeg/libsm6/libxext6/libgl1，正确
• 镜像加速源保留
• 入口脚本和代码复制逻辑没变

CI 全绿，可以合并。合并后建议验证实际镜像大小是否达标（<1GB）。

Review 通过 ✅ **多阶段构建：** - builder 阶段装 gcc/g++/binutils 等编译依赖，runtime 阶段完全不带，瘦身幅度大 - venv 完整从 builder 复制到 runtime，标准做法 **ffmpeg 静态编译替换：** - 从 apt 安装换成 johnvansickle 的静态二进制，省掉 ~350MB+ 的系统依赖 - ffmpeg/ffprobe 都复制到了 /usr/local/bin，路径没问题 **Python 依赖瘦身：** - strip .so 调试符号：约 80-100MB，合理 - 清理 test 文件、__pycache__、dist-info 文档：都是安全的 - 注意 strip 可能影响某些带 C 扩展的库调试，但生产环境不需要 **其他：** - runtime 只留 libglib2.0-0（opencv 依赖），删除了 ffmpeg/libsm6/libxext6/libgl1，正确 - 镜像加速源保留 - 入口脚本和代码复制逻辑没变 CI 全绿，可以合并。合并后建议验证实际镜像大小是否达标（<1GB）。

xiaoxia merged commit ca8b945054 into develop 2026-07-15 07:49:15 +08:00

xiaoxia referenced this pull request 2026-07-15 08:31:08 +08:00

fix(worker): 修复瘦身后shared模块无法导入的PYTHONPATH问题 #343

Sign in to join this conversation.

Reviewers

No Reviewers

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot xiaoxia

No Assignees

1 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#340