跳转到主要内容

Documentation Index

Fetch the complete documentation index at: https://docs.cyberun.cloud/llms.txt

Use this file to discover all available pages before exploring further.

Cyberun Cloud 中的容器服务是由你团队代理在你的硬件上托管的长时间运行容器。任务是工作流的一次性运行,而容器服务是一个保持在线的进程——适合做推理服务器、模型代理、控制台,或者任何你工作流依赖的边车服务。 如果本部署没有启用容器服务,侧边栏不会出现 Containers 条目。

服务定义包含什么

  • Slug ——长度 3–100 的小写标识符,由字母、数字和连字符组成(模式 ^[a-z0-9][a-z0-9-]{1,98}[a-z0-9]$)。用于 API 路径和 URL。创建后不可修改。
  • 显示名称描述 ——人类可读的标签。
  • Docker 镜像 ——要运行的镜像,例如 vllm/vllm-openai:latest 或按 digest 锁定。必须能从代理的容器运行时访问;私有镜像仓库需要在代理主机上配置凭证。
  • 暴露端口 ——服务在容器内监听的端口(1–65535)。默认为 8080
  • 健康检查路径 —— Cloud 探测的 HTTP 路径。默认为 /health
  • 环境变量 ——传入容器的 key/value 对。
  • ——主机路径 → 容器路径的挂载。用于与主机共享模型目录或持久化状态。
  • 必需标签 ——与工作流相同的标签模型。只有那些标签是该集合超集的代理才符合条件。
  • GPU 数量 ——分配的 GPU 数量。0 表示仅 CPU(默认),正整数表示具体数量,-1 表示让容器看到主机上的所有 GPU。
  • 副本数 ——保持运行的实例数(1–10)。

生命周期

服务定义会经过以下状态:
  • created ——定义已存在,但尚未调度副本。点击 Create 之后的初始状态。
  • deploying ——代理正在拉取镜像并启动容器。
  • running ——至少有一个副本在线。
  • stopping ——正在进行 Undeploy
  • stopped ——没有副本;定义被保留以便重新部署。
  • failed ——部署未成功,且没有任何副本健康。检查副本的健康状况和日志以排查问题。
每个运行中的副本还会有一个实例状态pendingpullingrunningstoppingstoppedfailed 之一)以及一个独立的健康状态unknownhealthyunhealthy),后者基于对健康检查路径的探测。

操作

在详情页可以:
  • Deploy ——将副本调度到符合条件的代理上。
  • Undeploy ——停止副本。定义保留,便于稍后重新部署。
  • Edit ——修改定义字段。镜像、暴露端口和卷的改动通常需要重新部署才能在运行中的副本上生效。
  • Delete ——移除定义。会先停止副本。

相关