NTN 520 - Escalar IA Duele
¡Vótame en los Premios iVoox 2026!
Servir un LLM no es como escalar una web app normal. Hablamos de tokens, GPUs, KV cache, latencia, costos y por qué “agregar más pods” ya no salva a nadie. Fuentes: • https://www.dheeth.blog/llm-serving-is-not-normal-web-serving/ • https://arxiv.org/abs/2309.06180 • https://kubernetes.io/docs/concepts/workloads/autoscaling/horizontal-pod-autoscale/
Servir un LLM no es como escalar una web app normal. Hablamos de tokens, GPUs, KV cache, latencia, costos y por qué “agregar más pods” ya no salva a nadie. Fuentes: • https://www.dheeth.blog/llm-serving-is-not-normal-web-serving/ • https://arxiv.org/abs/2309.06180 • https://kubernetes.io/docs/concepts/workloads/autoscaling/horizontal-pod-autoscale/
You May Also Like

Jack Hopkins
Jack Hopkins

Jak Piggott
Jak Piggott

Theo - t3․gg
Theo - t3․gg

The Daily AI Show
The Daily AI Show Crew - Brian, Beth, Jyunmi, Andy and Karl

All-In with Chamath, Jason, Sacks & Friedberg
All-In Podcast, LLC

Artificial Intelligence Masterclass
AI Masterclass

Uncanny Valley | WIRED
WIRED

Security Weekly Podcast Network (Video)
Security Weekly Productions

Security Weekly Podcast Network (Audio)
Security Weekly Productions

AI Fire Daily
AIFire.co
Community discussion