NTN 520 - Escalar IA Duele
Episode 23 min 14s

NTN 520 - Escalar IA Duele

¡Vótame en los Premios iVoox 2026!
Servir un LLM no es como escalar una web app normal. Hablamos de tokens, GPUs, KV cache, latencia, costos y por qué “agregar más pods” ya no salva a nadie. Fuentes: • https://www.dheeth.blog/llm-serving-is-not-normal-web-serving/ • https://arxiv.org/abs/2309.06180 • https://kubernetes.io/docs/concepts/workloads/autoscaling/horizontal-pod-autoscale/

Community discussion