28 lines
947 B
YAML
28 lines
947 B
YAML
model_list:
|
|
# Modelo primario apuntando a nuestro motor vLLM local
|
|
- model_name: production-model
|
|
litellm_params:
|
|
model: openai/Qwen/Qwen2.5-3B-Instruct-AWQ
|
|
api_base: http://vllm:8000/v1
|
|
api_key: "token-local-vllm"
|
|
request_timeout: 30 # Timeout para evitar colgar al cliente
|
|
|
|
# Modelo de fallback (contingencia) en caso de saturación o caída del primario
|
|
# Puede ser un modelo secundario local o un proveedor externo
|
|
# - model_name: fallback-backup
|
|
# litellm_params:
|
|
# model: openai/gpt-4o-mini # O una segunda instancia vLLM con modelo ligero
|
|
# api_key: "dummy-key-o-real"
|
|
|
|
router_settings:
|
|
routing_strategy: "latency-based-routing"
|
|
timeout: 30
|
|
fallbacks:
|
|
- "production-model": ["fallback-backup"]
|
|
num_retries: 2
|
|
allowed_fails: 3
|
|
cooldown_time: 15 # Segundos antes de reintentar el modelo primario tras abrir circuito
|
|
|
|
general_settings:
|
|
master_key: "sk-production-admin-key"
|