当前位置:首页 > 技术 > 正文内容

Ubuntu+Docker+Xinference+Gradio四层架构部署AI文生图模型实战

访客 技术 2026年6月7日 1

本文将详细介绍如何从零开始搭建一个基于Ubuntu、Docker、Xinference和Gradio四层架构的AI文生图服务,部署一个经过LoRA风格微调的LiuJuan风格Z-Image模型。最终你会拥有一个可通过浏览器访问的AI绘画工具,输入文字即可生成对应图像。

1. 架构概览与前置准备

这套部署方案采用分层结构,每层解决特定问题:

  • Ubuntu:作为基础操作系统,提供Linux环境支持。
  • Docker:容器化技术,将模型及其所有依赖打包成标准环境,避免环境冲突。
  • Xinference:模型推理框架,负责加载模型、分配计算资源并提供API接口。
  • Gradio:前端框架,快速生成网页交互界面,让用户通过浏览器直接使用模型。

开始前,请确保有:

  • 一台安装了Ubuntu的电脑或云服务器(建议至少8GB内存,20GB磁盘空间)。
  • 稳定的网络,用于下载镜像和模型文件。
  • 基础的终端操作能力。

2. 环境基础配置

首先更新系统软件包:

sudo apt update && sudo apt upgrade -y

安装必要的工具(如后续下载文件需用到):

sudo apt install -y wget curl

3. Docker引擎安装与配置

Docker是整个架构的运行容器,按以下步骤安装:

卸载旧版本Docker(如果存在):

sudo apt remove docker docker-engine docker.io containerd runc

安装依赖包,添加Docker官方GPG密钥和软件源:

sudo apt install -y ca-certificates curl gnupg lsb-release
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin

验证安装,并设置Docker开机自启及当前用户权限:

sudo systemctl enable docker && sudo systemctl start docker
sudo usermod -aG docker $USER

需要退出当前终端并重新登录,使用户组权限生效。

4. 模型镜像部署与启动

模型文件、Xinference服务及Gradio界面已被打包成一个Docker镜像。拉取并运行它:

docker pull csdnmirrors/liujuan20260223zimage:latest

镜像下载完成后,启动容器:

docker run -d --name liujuan_ai \
  -p 9997:9997 \
  --gpus all \
  --restart unless-stopped \
  csdnmirrors/liujuan20260223zimage:latest

命令说明:

  • -d:后台运行。
  • --name liujuan_ai:容器命名。
  • -p 9997:9997:宿主机端口映射到容器端口。
  • --gpus all:将宿主机所有GPU分配给容器(若无GPU可省略,但生成速度会极慢)。
  • --restart unless-stopped:容器崩溃时自动重启。

启动后,检查容器运行状态:

docker ps

5. 验证服务可用性

Xinference加载模型需要一定时间,查看日志确认模型已加载:

docker exec liujuan_ai cat /root/workspace/xinference.log

当日志末尾出现类似以下信息时,表示服务就绪:

...Info...
Model loaded successfully.
Xinference endpoint started on http://0.0.0.0:9997

6. 通过Gradio界面生成图像

浏览器访问 http://localhost:9997(若为云服务器,将localhost替换为公网IP地址)。

页面包含一个输入框、生成按钮和图像展示区域。输入提示词如 LiuJuanLiuJuan, fantasy landscape,点击"生成"按钮,稍后即能看到生成的图像。可尝试不同风格描述词,观察模型表现。

7. 常见问题处理

端口冲突:若9997端口被占用,可更换映射端口,如 -p 9998:9997,然后访问 http://localhost:9998

GPU不可用:确保NVIDIA驱动可用(运行nvidia-smi能显示信息),并安装nvidia-container-toolkit:

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update && sudo apt install -y nvidia-container-toolkit
sudo systemctl restart docker

8. 日常管理与维护

常用Docker命令:

  • 停止容器:docker stop liujuan_ai
  • 启动容器:docker start liujuan_ai
  • 重启容器:docker restart liujuan_ai
  • 查看容器日志:docker logs liujuan_ai
  • 删除容器:docker rm liujuan_ai(需先停止)

若需性能优化,确保GPU被正确分配;在Gradio界面中,可通过降低采样步数或图像尺寸加快生成速度,但会牺牲一定的图像质量。

相关文章

Linux crontab 详解

1) crontab 是什么cron 是 Linux 的定时任务守护进程;crontab 是用来编辑/查看“按时间周期执行命令”的表(cron table)。常见两类:用户 crontab:每个用户一份(crontab -e 编辑)系统级 crontab / cron.d:可指定执行用户(/etc/crontab、/etc/cron.d/*)2) crontab 时间...

富文本里可以允许的 HTML 属性

一、所有标签默认允许的安全属性(极少)class        (可选)id           (通常建议禁用)title️ 注意:id 容易被滥用做锚点注入,很多系统直接禁用class 允许的话最好只允许固定前缀(如 editor-*)二、a 标签允许属性<a href="" t...

Mac 安装 Node.js 指南

方法一:通过官网安装包(最简单,适合初学者)如果你只是想快速安装并开始使用,这是最直接的方法。访问 Node.js 官网。页面会显示两个版本:LTS (Recommended For Most Users):长期支持版,最稳定。建议选这个。Current:最新特性版,包含最新功能但可能不够稳定。下载 .pkg 安装包并运行。按照安装向导点击“下一步”即可完成。方法二:使用 Homebrew 安装(...

Dom\HTML_NO_DEFAULT_NS 的副作用:自动加闭合标签

在使用Dom\HTMLDocument时,Dom\HTML_NO_DEFAULT_NS 将禁止在解析过程中设置元素的命名空间, 此设置是为了与DOMDocument向后兼容而存在的。当使用它时,已知的一个副作用就是:自动加闭合标签例如 </img> 为什么会这样?当你使用:Dom\HTML_NO_DEFAULT_NS文档会变成 无命名空间模式,此时内部更接近 XML...

Laravel 事件和监听器创建

在 Laravel 中,使用 Artisan 命令创建 Events(事件) 和 Listeners(监听器) 是非常高效的。你可以通过以下几种方式来实现:1. 手动创建单个 Event如果你只想创建一个事件类,可以使用 make:event 命令:Bashphp artisan make:event UserRegistered执行后,文件将生成在 app/Even...

自定义域名解析神器 dnsmasq

什么是 dnsmasq?dnsmasq 是一个轻量级、功能强大的网络服务工具,专为小型和中等规模网络设计。它是一个综合的网络基础设施解决方案[1]。dnsmasq 能做什么?功能说明应用场景DNS 转发与缓存将 DNS 查询转发到上游服务器(ISP、Google DNS 等),并在本地缓存结果加快 DNS 查询速度,减少外部 DNS 流量本地 DNS解析本地网络设备的主机名,无需编辑&n...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。