Alineación de la IA: qué significa que un modelo haga lo que queremos y cómo se intenta conseguir

Un modelo de lenguaje recién entrenado con texto de internet no es un asistente. Si le escribes una pregunta, puede continuarla con otras preguntas, imitar un foro o completar el texto con algo ofensivo, porque solo aprendió a predecir cómo sigue un texto. El asistente útil, que responde, rechaza peticiones dañinas y admite cuando no sabe, es el resultado de un segundo proceso de entrenamiento. Ese proceso es la versión práctica de la alineación: conseguir que un sistema haga lo que pretenden quienes lo diseñan y lo usan, y no solo lo que literalmente se le pidió o se le premió.

Técnicas y resultados descritos hasta la fecha del artículo. La alineación es un área de investigación activa y muchas de sus preguntas siguen abiertas.

Por qué es difícil

Lo que queremos de un asistente es difícil de escribir como una regla: que sea útil, pero no a costa de causar daño; honesto, pero con tacto; que siga las instrucciones, salvo cuando no debe. Cualquier especificación concreta deja huecos, y un sistema que optimiza esa especificación encontrará los huecos. Los investigadores distinguen dos problemas. El externo: que el objetivo con el que se entrena refleje lo que queremos. El interno: que el sistema entrenado haya aprendido realmente ese objetivo y no otro que coincidía con él durante el entrenamiento pero diverge en situaciones nuevas.

Ajuste con preferencias humanas

La técnica que convirtió los modelos de lenguaje en asistentes es el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF). Personas comparan pares de respuestas y eligen la mejor; con esas comparaciones se entrena un modelo de recompensa que predice qué prefieren las personas; y el modelo de lenguaje se ajusta para obtener puntuaciones altas de ese modelo de recompensa. El trabajo de OpenAI de 2022 sobre InstructGPT mostró que un modelo pequeño ajustado así era preferido por los evaluadores frente a uno mucho más grande sin ajustar.

Sus límites son conocidos: el modelo aprende lo que los evaluadores premian, que no siempre es lo correcto. Las personas tienden a preferir respuestas seguras de sí mismas, largas y que les dan la razón, y el modelo aprende esas tendencias. La complacencia de los asistentes es en parte un efecto de este método. Y optimizar con demasiada fuerza contra un modelo de recompensa imperfecto lleva a explotar sus fallos, un problema conocido como «hackeo de la recompensa».

Principios escritos

Anthropic propuso en 2022 la IA constitucional: en lugar de depender solo de comparaciones humanas para cada caso, se da al modelo un conjunto de principios escritos y se usa el propio modelo para criticar y revisar sus respuestas según esos principios, generando datos de entrenamiento a partir de ellos. Hace explícitos los valores con los que se entrena, que se pueden leer, discutir y modificar. Varios laboratorios publican hoy documentos que describen el comportamiento que buscan en sus modelos.

El límite es que unos principios escritos también dejan huecos y conflictos entre sí, y que el modelo puede aprender a aplicar la letra de los principios sin su intención. Evaluar el comportamiento resultante sigue siendo necesario.

Supervisar lo que no podemos evaluar

Si un modelo resuelve una tarea mejor que quien lo supervisa, ¿cómo saber si lo ha hecho bien? Es el problema de la supervisión escalable. Algunas propuestas: que dos modelos debatan y una persona juzgue el debate, que es más fácil que juzgar la respuesta directamente; descomponer las tareas en partes que una persona sí pueda verificar; y usar modelos más débiles para supervisar a otros más fuertes. Un trabajo de OpenAI de 2023 sobre generalización «de débil a fuerte» encontró que un modelo fuerte ajustado con etiquetas de uno débil superaba a su supervisor, pero quedaba lejos de su propio potencial.

Mirar dentro: interpretabilidad

La interpretabilidad intenta entender qué representan los modelos internamente, en lugar de juzgarlos solo por sus respuestas. En 2024, Anthropic publicó cómo había identificado millones de «características» internas en uno de sus modelos de producción, asociadas a conceptos concretos (ciudades, errores de código, el engaño), y mostró que al amplificar una de ellas, la del puente Golden Gate, el modelo hablaba obsesivamente del puente. Si se pudiera leer de forma fiable lo que un modelo «piensa», se podrían detectar intenciones engañosas antes de que se manifestaran. Hoy la interpretabilidad explica fragmentos del funcionamiento de los modelos, no su conjunto.

Errores frecuentes al hablar del tema

Confundir alineación con censura. Las negativas a peticiones dañinas son una parte pequeña. La alineación incluye que el modelo sea útil, honesto sobre lo que no sabe, que siga bien las instrucciones legítimas y que no engañe a quien supervisa.

Darla por resuelta porque los asistentes se portan bien. Que un modelo se comporte bien en el uso cotidiano no garantiza que lo haga en situaciones nuevas, bajo presión o con más autonomía. Las evaluaciones en escenarios difíciles muestran fallos que el uso normal no revela.

Lo esencial

La alineación es lo que convierte un modelo que predice texto en un asistente útil y seguro, y se consigue hoy con preferencias humanas, principios escritos y evaluación. Funciona razonablemente para los sistemas actuales en el uso normal; cómo supervisar sistemas más capaces que sus supervisores y cómo verificar lo que han aprendido de verdad siguen siendo preguntas abiertas.