Homelab Tortuga — Ruteo de modelos LiteLLM (Escena 3)

Bots → gateway → providers externos free → fallback local → M5

Homelab Tortuga — Ruteo de modelos LiteLLM (Escena 3) Bots → gateway → providers externos free → fallback local → M5 Bots Hermes · Antonio · Edith · Vancity · Cluster Kubernetes — ruteo Bots Hermes Antonio · Edith · Vancity Firecrawl MCP · Scraping web → inputs · Cluster Kubernetes — ruteo Firecrawl MCP Scraping web → inputs LiteLLM Gateway · Router de modelos · Cluster Kubernetes — ruteo LiteLLM Gateway Router de modelos CNPG Postgres · Fuente de verdad · config · Cluster Kubernetes — ruteo CNPG Postgres Fuente de verdad · config OpenRouter · externo free · flash · Providers externos free — primario OpenRouter externo free · flash Groq · externo free · flash · Providers externos free — primario Groq externo free · flash NVIDIA · externo free · razonamiento · Providers externos free — primario NVIDIA externo free · razonamiento Cloudflare · externo free · flash · Providers externos free — primario Cloudflare externo free · flash B.AI · externo free · razonamiento · Providers externos free — primario B.AI externo free · razonamiento Mistral · externo free · razonamiento · Providers externos free — primario Mistral externo free · razonamiento Ollama · externo free · Providers externos free — primario Ollama externo free GMKtec · modelo local · Fallback local — cola de rebotes GMKtec modelo local Spark · modelo local · Fallback local — cola de rebotes Spark modelo local M4 · modelo local · Fallback local — cola de rebotes M4 modelo local M5 · ultimo recurso · Fallback local — cola de rebotes M5 ultimo recurso requests LLM MCP inputs web → LLM config de modelos primario cooldown · rebota cooldown · rebota cooldown · rebota cooldown · rebota cooldown · rebota cooldown · rebota externos agotados → local rebote rebote ultimo Cluster Kubernetes — ruteo Providers externos free — primario Fallback local — cola de rebotes Legend Gateway K8s Procesos y workers Datos / config macOS local Providers externos

Ruteo

  • • Primario: providers externos free
  • • Cooldown rebota al siguiente
  • • Fallback local como cola final

Fuente de verdad

  • • CNPG Postgres guarda la config
  • • El gateway la consulta en cada request

Consumidores

  • • Bots Hermes: Antonio · Edith · Vancity
  • • Firecrawl MCP alimenta contexto web

Local

  • • GMKtec · Spark · M4
  • • M5: ultimo recurso