Ubuntu+Docker+Xinference+Gradio四层架构部署AI文生图模型实战
本文将详细介绍如何从零开始搭建一个基于Ubuntu、Docker、Xinference和Gradio四层架构的AI文生图服务,部署一个经过LoRA风格微调的LiuJuan风格Z-Image模型。最终你会拥有一个可通过浏览器访问的AI绘画工具,输入文字即可生成对应图像。
1. 架构概览与前置准备
这套部署方案采用分层结构,每层解决特定问题:
- Ubuntu:作为基础操作系统,提供Linux环境支持。
- Docker:容器化技术,将模型及其所有依赖打包成标准环境,避免环境冲突。
- Xinference:模型推理框架,负责加载模型、分配计算资源并提供API接口。
- Gradio:前端框架,快速生成网页交互界面,让用户通过浏览器直接使用模型。
开始前,请确保有:
- 一台安装了Ubuntu的电脑或云服务器(建议至少8GB内存,20GB磁盘空间)。
- 稳定的网络,用于下载镜像和模型文件。
- 基础的终端操作能力。
2. 环境基础配置
首先更新系统软件包:
sudo apt update && sudo apt upgrade -y
安装必要的工具(如后续下载文件需用到):
sudo apt install -y wget curl
3. Docker引擎安装与配置
Docker是整个架构的运行容器,按以下步骤安装:
卸载旧版本Docker(如果存在):
sudo apt remove docker docker-engine docker.io containerd runc
安装依赖包,添加Docker官方GPG密钥和软件源:
sudo apt install -y ca-certificates curl gnupg lsb-release
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin
验证安装,并设置Docker开机自启及当前用户权限:
sudo systemctl enable docker && sudo systemctl start docker
sudo usermod -aG docker $USER
需要退出当前终端并重新登录,使用户组权限生效。
4. 模型镜像部署与启动
模型文件、Xinference服务及Gradio界面已被打包成一个Docker镜像。拉取并运行它:
docker pull csdnmirrors/liujuan20260223zimage:latest
镜像下载完成后,启动容器:
docker run -d --name liujuan_ai \
-p 9997:9997 \
--gpus all \
--restart unless-stopped \
csdnmirrors/liujuan20260223zimage:latest
命令说明:
-d:后台运行。--name liujuan_ai:容器命名。-p 9997:9997:宿主机端口映射到容器端口。--gpus all:将宿主机所有GPU分配给容器(若无GPU可省略,但生成速度会极慢)。--restart unless-stopped:容器崩溃时自动重启。
启动后,检查容器运行状态:
docker ps
5. 验证服务可用性
Xinference加载模型需要一定时间,查看日志确认模型已加载:
docker exec liujuan_ai cat /root/workspace/xinference.log
当日志末尾出现类似以下信息时,表示服务就绪:
...Info...
Model loaded successfully.
Xinference endpoint started on http://0.0.0.0:9997
6. 通过Gradio界面生成图像
浏览器访问 http://localhost:9997(若为云服务器,将localhost替换为公网IP地址)。
页面包含一个输入框、生成按钮和图像展示区域。输入提示词如 LiuJuan 或 LiuJuan, fantasy landscape,点击"生成"按钮,稍后即能看到生成的图像。可尝试不同风格描述词,观察模型表现。
7. 常见问题处理
端口冲突:若9997端口被占用,可更换映射端口,如 -p 9998:9997,然后访问 http://localhost:9998。
GPU不可用:确保NVIDIA驱动可用(运行nvidia-smi能显示信息),并安装nvidia-container-toolkit:
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update && sudo apt install -y nvidia-container-toolkit
sudo systemctl restart docker
8. 日常管理与维护
常用Docker命令:
- 停止容器:
docker stop liujuan_ai - 启动容器:
docker start liujuan_ai - 重启容器:
docker restart liujuan_ai - 查看容器日志:
docker logs liujuan_ai - 删除容器:
docker rm liujuan_ai(需先停止)
若需性能优化,确保GPU被正确分配;在Gradio界面中,可通过降低采样步数或图像尺寸加快生成速度,但会牺牲一定的图像质量。