Gateways de IA con LiteLLM. Control de costes y gobernanza en GCP

Gateways de IA con LiteLLM. Control de costes y gobernanza en GCP Desplegar LLMs en producción sin control de tráfico ni cuotas es la receta perfecta para una sorpresa desagradable en la factura de la nube 💸. En este workshop práctico de 90 minutos veremos qué es un gateway de IA y por qué usarlo, y pasaremos directamente a la infraestructura, viendo cómo desplegar una capa de gobernanza y control de costes production-ready en GCP, reemplazando el caos de credenciales dispersas por un gateway unificado y seguro 🛡️. 🔥 Lo que vamos a construir (y romper) en directo: Capa de cómputo y persistencia: despliegue del contenedor de LiteLLM Proxy en Cloud Run con conexión privada (VPC Direct Egress) hacia Cloud SQL (estados y reglas) y Memorystore/Redis (rate limiting e in-memory caching). Zero Trust e IAM nativo: integración con Vertex AI (Gemini y Claude) utilizando Service Accounts e identidades efímeras ( roles/aiplatform.user ), eliminando por completo las API keys estáticas. Throttling y presupuestos duros: configuración de Virtual Keys y parámetros de usuario para cortar llamadas al instante (HTTP 429) cuando se superen los límites de tokens por minuto (TPM/RPM) o el presupuesto en dólares ($/mes). Estrategia de fallback: enrutamiento dinámico entre modelos para conmutar a un modelo secundario si Vertex AI devuelve errores 429 (Rate Limit) o 500 . Pipeline de telemetría y FinOps: streaming de logs JSON desde Cloud Logging hacia BigQuery para auditar el coste exacto por token (prompt vs. completion) e imputar gastos por equipo o aplicación. 🎯 Perfil técnico objetivo: DevOps, Platform Engineers, Cloud Architects y Backend/AI Engineers que necesiten escalar infraestructura de IA sin perder el control operativo ni financiero. 🧰 Stack que utilizaremos: LiteLLM Proxy, GCP Cloud Run, Vertex AI, Memorystore (Redis), Cloud SQL (PostgreSQL), BigQuery, Docker, cURL. 💻 Opcional: si quieres seguir el despliegue paso a paso, trae tu portátil. También puedes venir solo a mirar