LLM API

OpenAI 兼容接口 · Base URL: https://llm.9cat.win/v1 ·
💬 GPU 聊天对比 ⚡ GPU 跑分 📊 管理面板

认证

HeaderAuthorization: Bearer <API_KEY> 或 X-API-Key: <API_KEY>
获取API Key 由服务管理员线下发放

端点

方法路径说明
POST/v1/chat/completions对话补全(支持 stream / tool-call)
GET/v1/models可用模型列表
GET/pool池状态(节点在线/忙闲,公开只读)

POST /v1/chat/completions

参数类型必填说明
modelstring✓模型名(见下表,auto=自动调度)
messagesarray✓OpenAI 格式消息数组(system/user/assistant/tool)
max_tokensint–生成上限
temperaturefloat–采样温度 0-2
streambool–SSE 流式输出
toolsarray–OpenAI tool-call 格式

模型

model规格适用
auto自动自动选最闲的可用节点
qwen3627B复杂任务 · tool-call · 高自由度
qwen35-9b-x39B ×3 并发批量/并行任务
qwen3.5-9b9B快速简单任务

调用示例

curl https://llm.9cat.win/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role":"user","content":"你好"}],
    "max_tokens": 100
  }'
from openai import OpenAI

client = OpenAI(base_url="https://llm.9cat.win/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="qwen36",
    messages=[{"role":"user","content":"你好"}],
)
print(resp.choices[0].message.content)

流式

curl -N https://llm.9cat.win/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"讲个故事"}],"stream":true}'

慢速模型 glm53flash (本地慢处理)

168 GLM-5.3-Flash 97G MoE CPU+GPU 混合推理, ~3 tok/s。只做深度思考类任务。auto 永不路由到它, 必须 model=glm53flash 显式点名。全链路无超时, 串行执行不并行。

特性说明
点名方式"model": "glm53flash" 或 glm-5.3-flash / deep-think
忙时行为不带 X-Wait: yes → 409 拒回, body 含 eta_seconds(预估剩余秒); 带 X-Wait: yes → 入池串行等待, 最多等 4 小时
超时推理本身无超时 (慢慢来), 完成为止
并发恒为 1 (串行队列), 不会并行两个任务互相拖慢
# 拒回示例 (不带 X-Wait 且忙时)
HTTP 409
{"error":{"message":"glm53flash busy (serial, ~3 tok/s). Pass header X-Wait: yes to queue, or retry later","eta_seconds":300,"backend":"glm53flash"}}

# 愿意等待: 请求头加
X-Wait: yes

错误码

401API Key 缺失/错误
404model 不存在(用 /v1/models 核对)
503所有节点忙/离线,稍后重试(排队超时)
409慢速模型(glm53flash)忙且未带 X-Wait: yes; body 含 eta_seconds
413请求 ctx 超所有后端容量 / 空响应重试仍失败
调度说明:单 GPU 同时只处理 1 个请求,其余在服务端排队;节点故障自动摘除并恢复。
响应格式完全兼容 OpenAI SDK / LangChain /任何 OpenAI 客户端。