Open-AutoGLM云原生部署：Kubernetes集群适配实战教程

Open-AutoGLM云原生部署：Kubernetes集群适配实战教程

Open-AutoGLM 是智谱开源的一款面向手机端的 AI Agent 框架，旨在通过多模态理解与自动化操作能力，让大模型真正“动手”完成用户指令。它不仅能在本地运行，更支持将核心推理服务部署在云端，实现高性能、可扩展的远程控制方案。

本文聚焦于如何将 Open-AutoGLM 的 AI 推理后端部署到 Kubernetes 集群中，并与本地 ADB 控制端打通，完成从自然语言指令到真机自动执行的完整链路。我们将手把手带你完成镜像构建、服务编排、网络配置和客户端调用全过程，适合有一定云原生基础的开发者快速上手。

1. 理解 Open-AutoGLM 架构与部署模式

1.1 AutoGLM-Phone：让 AI 真正“看懂”并“操作”手机

AutoGLM-Phone 是一个基于视觉语言模型（VLM）的 AI 手机智能助理框架。它的核心能力在于：

• 多模态感知：通过截图获取手机屏幕图像，结合文字描述输入，理解当前界面状态。
• 意图解析与任务规划：接收自然语言指令（如“打开小红书搜美食”），拆解为一系列可执行动作。
• 自动化执行：利用 ADB（Android Debug Bridge）模拟点击、滑动、输入等操作，实现全自动流程。

整个系统分为两个主要部分：

• AI 推理服务端：负责运行大模型，处理图像+文本输入，输出操作指令。
• 本地控制端：连接真实设备或模拟器，采集屏幕、发送 ADB 命令，并将数据传给云端模型。

这种“本地采集 + 云端推理”的架构非常适合资源受限的终端设备，同时也能借助 Kubernetes 实现高可用、弹性伸缩的服务部署。

1.2 为什么选择 Kubernetes？

对于需要长期运行、支持多设备并发访问的 AI Agent 场景，直接在单台服务器上部署 vLLM 或其他推理服务存在明显局限：

• 资源利用率低
• 故障恢复慢
• 扩展性差
• 难以统一管理多个模型实例

而 Kubernetes 提供了：

• 自动化容器编排
• 服务发现与负载均衡
• 滚动更新与回滚
• 健康检查与自愈机制
• GPU 资源调度支持

因此，使用 K8s 部署 Open-AutoGLM 的推理后端，是迈向生产级应用的关键一步。

2. 准备 Kubernetes 部署环境

2.1 前置条件清单

确保你已能通过kubectl正常连接集群。

2.2 获取模型镜像与代码

Open-AutoGLM 使用 vLLM 作为推理引擎，我们需要先准备包含模型权重和服务逻辑的 Docker 镜像。

# 克隆官方仓库 git clone https://github.com/zai-org/Open-AutoGLM.git cd Open-AutoGLM # 查看提供的 Dockerfile 示例（通常位于 deployment/ 或 docker/ 目录下） ls -la deployment/

如果没有现成镜像，可以基于 vLLM 官方镜像自行构建：

FROM vllm/vllm-openai:latest COPY ./model_weights /models/autoglm-phone-9b ENV MODEL_NAME="autoglm-phone-9b" EXPOSE 8000 CMD ["python", "-m", "vllm.entrypoints.openai.api_server", \ "--model", "/models/autoglm-phone-9b", \ "--max-model-len", "4096", \ "--dtype", "half", \ "--tensor-parallel-size", "1"]

构建并推送到你的镜像仓库：

docker build -t your-registry/open-autoglm:v1 . docker push your-registry/open-autoglm:v1

3. 编写 Kubernetes 部署配置文件

3.1 创建命名空间隔离服务

apiVersion: v1 kind: Namespace metadata: name: ai-agent

应用该配置：

kubectl apply -f namespace.yaml

3.2 部署推理服务（Deployment）

创建deployment.yaml：

apiVersion: apps/v1 kind: Deployment metadata: name: autoglm-inference namespace: ai-agent spec: replicas: 1 selector: matchLabels: app: autoglm-inference template: metadata: labels: app: autoglm-inference spec: containers: - name: vllm-server image: your-registry/open-autoglm:v1 ports: - containerPort: 8000 resources: limits: nvidia.com/gpu: 1 # 根据实际情况调整 requests: memory: "16Gi" cpu: "4" nvidia.com/gpu: 1 env: - name: CUDA_VISIBLE_DEVICES value: "0" readinessProbe: httpGet: path: /health port: 8000 initialDelaySeconds: 60 periodSeconds: 10

3.3 暴露服务（Service）

创建service.yaml，暴露内部端口：

apiVersion: v1 kind: Service metadata: name: autoglm-service namespace: ai-agent spec: selector: app: autoglm-inference ports: - protocol: TCP port: 8000 targetPort: 8000 type: ClusterIP

3.4 对外暴露接口（Ingress）

如果你有公网 IP 和域名，可通过 Ingress 暴露服务：

apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: autoglm-ingress namespace: ai-agent annotations: nginx.ingress.kubernetes.io/service-weight: "" spec: ingressClassName: nginx rules: - host: autoglm.yourdomain.com http: paths: - path: / pathType: Prefix backend: service: name: autoglm-service port: number: 8000

注意：若无 DNS，也可使用 NodePort 或 LoadBalancer 类型 Service 快速测试。

应用所有配置：

kubectl apply -f deployment.yaml kubectl apply -f service.yaml kubectl apply -f ingress.yaml

4. 验证云端推理服务是否就绪

4.1 检查 Pod 状态

kubectl get pods -n ai-agent

等待状态变为Running，且 READY 列显示1/1。

查看日志确认模型加载成功：

kubectl logs -f <pod-name> -n ai-agent

你应该看到类似以下输出：

INFO: Started server process [PID] INFO: Waiting for model to be loaded... INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8000

4.2 测试 OpenAI 兼容 API

vLLM 提供了与 OpenAI API 兼容的接口，我们可以用 curl 测试：

curl http://<your-cluster-ip>:<nodeport>/v1/models

返回应包含：

{ "data": [ { "id": "autoglm-phone-9b", "object": "model" } ] }

这表示模型服务已正常启动。

5. 本地控制端连接云端 AI 服务

现在回到本地电脑，配置 Open-AutoGLM 控制端，让它调用我们刚刚部署在 K8s 上的 AI 模型。

5.1 环境准备

操作系统支持

• Windows 10/11
• macOS Monterey 及以上
• Linux（Ubuntu 20.04+）

软件依赖

• Python 3.10+
• Git
• ADB 工具包

安装 ADB

Windows 用户：

1. 下载 Platform Tools
2. 解压后添加路径至系统环境变量
3. 验证安装：

adb version

macOS 用户：

export PATH=${PATH}:~/Downloads/platform-tools adb version

5.2 手机端设置

1. 开启开发者模式
   进入「设置」→「关于手机」→ 连续点击「版本号」7次。

2. 启用 USB 调试
   返回设置主菜单 →「开发者选项」→ 开启「USB 调试」。

3. 安装 ADB Keyboard（可选但推荐）
   下载 APK 并安装，然后在「语言与输入法」中设为默认输入法，以便 AI 自动输入文字。

6. 部署并运行 Open-AutoGLM 控制端

6.1 克隆代码并安装依赖

git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM pip install -r requirements.txt pip install -e .

6.2 连接设备

USB 方式

adb devices

输出示例：

List of devices attached ABCDEF1234567890 device

WiFi 远程连接方式

首次需用 USB 连接：

adb tcpip 5555 adb disconnect adb connect 192.168.x.x:5555

再次验证：

adb devices

7. 启动 AI 代理并下发指令

7.1 命令行方式调用云端模型

python main.py \ --device-id ABCDEF1234567890 \ --base-url http://<你的K8s节点公网IP>:<NodePort>/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

参数说明：

• --device-id：来自adb devices的设备标识
• --base-url：指向你 K8s 集群暴露的 API 地址（注意端口映射）
• 最后的字符串：自然语言指令

7.2 使用 Python API 实现远程控制

from phone_agent.adb import ADBConnection, list_devices conn = ADBConnection() # 连接远程设备（WiFi） success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}") # 列出所有连接设备 devices = list_devices() for device in devices: print(f"{device.device_id} - {device.connection_type.value}") # 启用 TCP/IP（USB 连接时） success, message = conn.enable_tcpip(5555) ip = conn.get_device_ip() print(f"设备 IP: {ip}") # 断开连接 conn.disconnect("192.168.1.100:5555")

此方式便于集成进 Web 应用或自动化平台。

8. 常见问题排查指南

8.1 连接失败相关问题

8.2 模型服务异常

8.3 Kubernetes 特有问题

9. 总结

本文详细演示了如何将 Open-AutoGLM 的 AI 推理服务部署到 Kubernetes 集群中，并与本地 ADB 控制端协同工作，实现“云端大脑 + 本地手脚”的智能代理架构。

我们完成了以下关键步骤：

• 构建并推送包含 AutoGLM 模型的 Docker 镜像
• 编写 K8s Deployment、Service 和 Ingress 配置
• 在云端启动 vLLM 推理服务
• 配置本地环境并通过 ADB 连接真机
• 调用云端 API 执行自然语言指令

这套方案具备良好的扩展性和稳定性，适用于需要批量管理多台设备、长期运行 AI Agent 的场景，例如自动化测试、内容生成、社交运营等。

下一步你可以尝试：

• 使用 Helm 封装部署模板
• 添加 Prometheus 监控指标
• 集成 Web UI 实现可视化操作
• 构建私有化模型微调流水线

AI Agent 正在从“能说”走向“会做”，而云原生技术则是支撑其规模化落地的重要基石。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。