sync: update from private repo (22cd034)
CI / build-and-test (push) Has been cancelled

This commit is contained in:
oss-sync
2026-06-09 06:02:32 +00:00
parent 3848b5efd7
commit 8ac98d2630
13 changed files with 589 additions and 37 deletions
+9 -3
View File
@@ -117,14 +117,20 @@ llm:
# shutdown_graceful_sec: 30 # SIGTERM 後、in-flight SSE の drain 上限秒
#
# backends:
# - id: gpu-a # `x-aao-backend-id` / `/v1/models` に出る ID
# # role ベース routing: worker はジョブの role (auto/fast/quality/reflection)
# # を routing key として送り、Gateway はその role を担う最も空いている
# # backend に振る。異なる model 名の GPU でも同じ role でまとめられる。
# # roles 未指定の backend は全 role を担当 (アップグレード後も従来どおり動く)。
# - id: gpu-a # `x-aao-backend-id` に出る ID
# endpoint: http://gpu-a:11434/v1
# model: qwen3:32b # 厳密一致 routing
# model: qwen3:32b # backend が積むモデル (role が無い時の fallback 一致キー)
# roles: [quality] # この backend は quality ティア専用
# max_slots: 2 # llama-server -np と合わせる
# api_key: ${GPU_A_API_KEY} # backend が bearer 必須な場合のみ
# - id: gpu-b
# endpoint: http://gpu-b:11434/v1
# model: qwen3:32b
# model: qwen3:8b # 別 GPU は別モデルでも OK
# roles: [fast, auto] # fast/auto ティアを担当
# max_slots: 2
#
# # Bootstrap / Backup 専用 virtual_keys (新規発行は admin API 経由を推奨)。