Fine-tuning o RAG: qué problema resuelve cada uno

Si quieres que el modelo conozca el catálogo de tu empresa, el fine-tuning es casi siempre la herramienta equivocada. Entrenar con preguntas y respuestas sobre tus documentos enseña al modelo a sonar como si los conociera, no a recordarlos con fiabilidad. El resultado típico es un modelo que responde con seguridad y con datos mezclados o inventados.

La regla de trabajo: el fine-tuning cambia el comportamiento (formato, tono, estilo, cómo resolver una tarea); RAG cambia la información disponible en el momento de responder.

Qué resuelve cada enfoque

Muchos sistemas en producción usan ambos: un modelo ajustado para seguir el formato y el estilo de la empresa, alimentado con fragmentos recuperados para los datos.

Antes de entrenar, agota el prompt

La alternativa barata al fine-tuning es un prompt con instrucciones claras y entre 3 y 10 ejemplos de entrada y salida. Se prueba en una tarde, se cambia sin reentrenar y te da la línea base contra la que medir cualquier ajuste posterior.

El fine-tuning empieza a compensar cuando ocurre alguna de estas cosas: los ejemplos en el prompt ocupan miles de tokens que pagas en cada llamada y el volumen es alto; el modelo sigue sin respetar el formato pese a los ejemplos; o necesitas bajar a un modelo más pequeño por latencia o costo y ese modelo no rinde solo con el prompt.

LoRA: por qué ajustar un modelo ya no requiere un clúster

Ajustar todos los pesos de un modelo de 8B exige memoria para los pesos, los gradientes y el estado del optimizador: varias veces el tamaño del modelo. LoRA congela los pesos originales y entrena dos matrices pequeñas por cada capa que se adapta, cuyo producto se suma a la matriz original.

Matriz original de 4096 × 4096       = 16.777.216 parámetros (congelados)
LoRA con rango r = 16:
  A: 4096 × 16  +  B: 16 × 4096      = 131.072 parámetros entrenables
Proporción entrenada                  ≈ 0,78 %

Con QLoRA, el modelo base además se carga cuantizado en 4 bits, lo que permite ajustar modelos de 8B en una sola GPU de consumo. El adaptador resultante pesa decenas o cientos de MB y se puede cargar o cambiar sin tocar el modelo base.

Parámetros iniciales que suelen funcionar como punto de partida: rango entre 8 y 32, aplicar LoRA a todas las proyecciones lineales de atención y MLP (no solo a las de atención), y pocas épocas, de 1 a 3. Más épocas con pocos datos es la forma más rápida de sobreajustar.

Cuántos datos y de qué calidad

Para tareas de formato o clasificación, unos cientos de ejemplos limpios y variados suelen dar resultados visibles; tareas más abiertas necesitan más. La calidad pesa más que la cantidad: 300 ejemplos revisados a mano superan con frecuencia a 3.000 generados automáticamente con errores, porque el modelo aprende también los errores.

Separa siempre un conjunto de evaluación que no se use en el entrenamiento, y compara el modelo ajustado contra el modelo base con buen prompt. Si no superas esa línea base de forma clara, el fine-tuning añadió costo de mantenimiento sin beneficio.

Errores frecuentes y limitaciones

Entrenar para «inyectar conocimiento». Es el error más caro. Aunque el modelo memorice algunas respuestas del conjunto de entrenamiento, generaliza mal a preguntas formuladas de otra forma, y lo que no aprendió lo completa con invenciones en el mismo tono seguro.

Olvidar el costo de mantenimiento. Cada vez que el proveedor publica un modelo base mejor, tu adaptador no se transfiere: hay que reentrenar y volver a evaluar. Con RAG, cambiar de modelo es cambiar un parámetro y repetir la evaluación.

Pérdida de capacidades generales. Un ajuste agresivo sobre una tarea estrecha puede degradar otras cosas que el modelo hacía bien, como seguir instrucciones generales o responder en otros idiomas. Incluye en la evaluación algunas tareas fuera del dominio del entrenamiento para detectarlo.

Datos con información sensible. Lo que entra en el entrenamiento puede reaparecer en las respuestas, y no hay forma fiable de «borrarlo» después sin reentrenar. Con RAG, eliminar un documento del índice basta.

Cómo decidir esta semana

Escribe en una línea qué falla hoy. Si la frase contiene «no sabe», «está desactualizado» o «inventa datos», empieza por RAG. Si contiene «no respeta el formato», «es muy lento» o «es demasiado caro para este volumen», arma primero el prompt con ejemplos, mide, y solo entonces prepara 300 ejemplos revisados para un LoRA.