This commit is contained in:
+9
-3
@@ -117,14 +117,20 @@ llm:
|
||||
# shutdown_graceful_sec: 30 # SIGTERM 後、in-flight SSE の drain 上限秒
|
||||
#
|
||||
# backends:
|
||||
# - id: gpu-a # `x-aao-backend-id` / `/v1/models` に出る ID
|
||||
# # role ベース routing: worker はジョブの role (auto/fast/quality/reflection)
|
||||
# # を routing key として送り、Gateway はその role を担う最も空いている
|
||||
# # backend に振る。異なる model 名の GPU でも同じ role でまとめられる。
|
||||
# # roles 未指定の backend は全 role を担当 (アップグレード後も従来どおり動く)。
|
||||
# - id: gpu-a # `x-aao-backend-id` に出る ID
|
||||
# endpoint: http://gpu-a:11434/v1
|
||||
# model: qwen3:32b # 厳密一致 routing
|
||||
# model: qwen3:32b # backend が積むモデル (role が無い時の fallback 一致キー)
|
||||
# roles: [quality] # この backend は quality ティア専用
|
||||
# max_slots: 2 # llama-server -np と合わせる
|
||||
# api_key: ${GPU_A_API_KEY} # backend が bearer 必須な場合のみ
|
||||
# - id: gpu-b
|
||||
# endpoint: http://gpu-b:11434/v1
|
||||
# model: qwen3:32b
|
||||
# model: qwen3:8b # 別 GPU は別モデルでも OK
|
||||
# roles: [fast, auto] # fast/auto ティアを担当
|
||||
# max_slots: 2
|
||||
#
|
||||
# # Bootstrap / Backup 専用 virtual_keys (新規発行は admin API 経由を推奨)。
|
||||
|
||||
Reference in New Issue
Block a user