// IA práctica

Producción y costes

Latencia, GPU, límites, reintentos, observabilidad y lo que cuesta de verdad cada token.

2 guías
IA práctica 6 min

Cuantización de modelos locales: cuánta VRAM ahorras y qué pierdes

Cálculo de memoria de pesos y caché KV, formatos GGUF, GPTQ y AWQ, y cómo medir la pérdida de calidad antes de quedarte con un modelo cuantizado.
IA práctica 6 min

Latencia al servir LLM: primer token, tokens por segundo y dónde se va el tiempo

Cómo descomponer la latencia de un LLM en primer token y generación, y qué técnicas reducen cada parte: streaming, caché de prefijos, batching y menos tokens de salida.