LLM API
OpenAI 兼容接口 · Base URL: https://llm.9cat.win/v1 ·
认证
| Header | Authorization: Bearer <API_KEY> 或 X-API-Key: <API_KEY> |
| 获取 | API Key 由服务管理员线下发放 |
端点
| 方法 | 路径 | 说明 |
| POST | /v1/chat/completions | 对话补全(支持 stream / tool-call) |
| GET | /v1/models | 可用模型列表 |
| GET | /pool | 池状态(节点在线/忙闲,公开只读) |
POST /v1/chat/completions
| 参数 | 类型 | 必填 | 说明 |
model | string | ✓ | 模型名(见下表,auto=自动调度) |
messages | array | ✓ | OpenAI 格式消息数组(system/user/assistant/tool) |
max_tokens | int | – | 生成上限 |
temperature | float | – | 采样温度 0-2 |
stream | bool | – | SSE 流式输出 |
tools | array | – | OpenAI tool-call 格式 |
模型
| model | 规格 | 适用 |
auto | 自动 | 自动选最闲的可用节点 |
qwen36 | 27B | 复杂任务 · tool-call · 高自由度 |
qwen35-9b-x3 | 9B ×3 并发 | 批量/并行任务 |
qwen3.5-9b | 9B | 快速简单任务 |
调用示例
curl https://llm.9cat.win/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role":"user","content":"你好"}],
"max_tokens": 100
}'
from openai import OpenAI
client = OpenAI(base_url="https://llm.9cat.win/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="qwen36",
messages=[{"role":"user","content":"你好"}],
)
print(resp.choices[0].message.content)
流式
curl -N https://llm.9cat.win/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" -H "Content-Type: application/json" \
-d '{"model":"auto","messages":[{"role":"user","content":"讲个故事"}],"stream":true}'
慢速模型 glm53flash (本地慢处理)
168 GLM-5.3-Flash 97G MoE CPU+GPU 混合推理, ~3 tok/s。只做深度思考类任务。auto 永不路由到它, 必须 model=glm53flash 显式点名。全链路无超时, 串行执行不并行。
| 特性 | 说明 |
| 点名方式 | "model": "glm53flash" 或 glm-5.3-flash / deep-think |
| 忙时行为 | 不带 X-Wait: yes → 409 拒回, body 含 eta_seconds(预估剩余秒); 带 X-Wait: yes → 入池串行等待, 最多等 4 小时 |
| 超时 | 推理本身无超时 (慢慢来), 完成为止 |
| 并发 | 恒为 1 (串行队列), 不会并行两个任务互相拖慢 |
# 拒回示例 (不带 X-Wait 且忙时)
HTTP 409
{"error":{"message":"glm53flash busy (serial, ~3 tok/s). Pass header X-Wait: yes to queue, or retry later","eta_seconds":300,"backend":"glm53flash"}}
# 愿意等待: 请求头加
X-Wait: yes
错误码
401 | API Key 缺失/错误 |
404 | model 不存在(用 /v1/models 核对) |
503 | 所有节点忙/离线,稍后重试(排队超时) |
409 | 慢速模型(glm53flash)忙且未带 X-Wait: yes; body 含 eta_seconds |
413 | 请求 ctx 超所有后端容量 / 空响应重试仍失败 |
调度说明:单 GPU 同时只处理 1 个请求,其余在服务端排队;节点故障自动摘除并恢复。
响应格式完全兼容 OpenAI SDK / LangChain /任何 OpenAI 客户端。