Celery Worker Fix Agent
8210806632
1. 修复 Worker 启动入口: celery_app → worker_app.celery_app - 旧 celery_app.py 不导入任何任务模块，导致 Worker 注册 0 个任务 - 删除旧版 apps/worker/celery_app.py，统一使用 worker_app/celery_app.py 2. 为缺少装饰器的任务补充 @celery_app.task: - classification.py: classify_asset() 添加装饰器 - generation.py: generate_video() 添加装饰器，修正签名匹配 API 调用方式 3. 确保 voice_extraction 任务被正确注册: - 添加 voice_extraction 到 celery_app imports - 修复 voice_extraction.py 中错误的相对导入 (.celery_app → worker_app.celery_app) - 修复 dedup.py 中指向已删除模块的导入 4. 修复 worker_app/celery_app.py: - 添加 broker_connection_retry_on_startup=True - imports 中添加 voice_extraction 和 dedup 模块 5. 修复 Dockerfile: - CMD 改为 celery -A worker_app.celery_app - 添加非 root 用户 celery 运行 Worker 6. 新建 packages/shared/config.py 和 storage.py 兼容层 - 为 worker 任务模块提供统一的 config/storage 访问入口
49 lines
1.5 KiB
Docker
49 lines
1.5 KiB
Docker
# ============================================================
|
|
# Worker Dockerfile - 专门用于 Celery Worker
|
|
# 优化：仅包含 worker 任务所需的依赖，减小镜像体积
|
|
# ============================================================
|
|
|
|
# 基础镜像：Python 3.12 + ffmpeg
|
|
FROM python:3.12-slim-bookworm
|
|
|
|
# 安装系统依赖
|
|
RUN apt-get update && apt-get install -y --no-install-recommends \
|
|
ffmpeg \
|
|
libsm6 \
|
|
libxext6 \
|
|
libgl1-mesa-glx \
|
|
&& rm -rf /var/lib/apt/lists/*
|
|
|
|
# 设置工作目录
|
|
WORKDIR /app
|
|
|
|
# 安装 Python 依赖（优化顺序以利用 Docker 缓存）
|
|
# 先安装无变化的依赖
|
|
COPY requirements.txt /tmp/requirements.txt
|
|
|
|
# 安装 Python 包
|
|
RUN pip install --no-cache-dir -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com -r /tmp/requirements.txt
|
|
|
|
# 复制应用代码
|
|
COPY apps/worker/ /app/apps/worker/
|
|
COPY apps/api/app/config.py /app/apps/api/app/config.py
|
|
COPY apps/api/app/core/ /app/apps/api/app/core/
|
|
COPY packages/ /app/packages/
|
|
COPY alembic.ini /app/alembic.ini
|
|
COPY migrations/ /app/migrations/
|
|
|
|
# 设置 Python 路径
|
|
ENV PYTHONPATH=/app
|
|
ENV PYTHONUNBUFFERED=1
|
|
|
|
# 创建非 root 用户运行 Worker
|
|
RUN groupadd -r celery && useradd -r -g celery -d /app -s /sbin/nologin celery \
|
|
&& chown -R celery:celery /app
|
|
RUN mkdir -p /app/generated && chown celery:celery /app/generated
|
|
|
|
USER celery
|
|
|
|
# Worker 入口点
|
|
WORKDIR /app/apps/worker
|
|
CMD ["celery", "-A", "worker_app.celery_app", "worker", "--loglevel=info", "--concurrency=2"]
|