Un estudio refleja que los modelos de lenguaje pueden entrenarse

Al igual que los humanos adaptan sus motivaciones para alinearse con el fin que persiguen ante una audiencia determinada, la inteligencia artificial presenta unas “presiones de selección” parecidas

Un estudio de la empresa de inteligencia artificial (IA) Anthropic refleja que los modelos de lenguaje tecnológicos pueden entrenarse para mostrar un comportamiento engañoso. De la misma manera que los humanos adaptan u ocultan sus motivaciones para alinearse con el fin que persiguen ante una audiencia determinada, la IA presenta unas “presiones de selección” similares.

Los grandes modelos de lenguaje pueden entrenarse para ofrecer a los usuarios respuestas engañosas. Además, estas persisten pese a posteriores intentos de depurar o corregir la información que ofrecen.

Los investigadores de Anthropic utilizaron ejemplos con técnicas seguras de entrenamiento para eliminar los comportamientos engañosos. Pero descubrieron que este método solo puede eliminar “el comportamiento inseguro que es visible durante el entrenamiento y la evaluación”. En realidad, se salta los modelos con una alineación engañosa instrumental que parecen ser seguros durante el entrenamiento.

Por tanto, dicho comportamiento engañoso se vuelve persistente. De hecho, los investigadores concluyen que cuando esto ocurre, las técnicas estándar pueden fallar al eliminar dicho engaño y crear una falsa impresión de seguridad.

“Esto podría poner en entredicho cualquier enfoque que se base en provocar y luego desincentivar el comportamiento engañoso”, aseguran los autores de Anthropic. Aunque también afirman que no les preocupa la probabilidad de que los modelos que muestran estos comportamientos engañosos “surjan de forma natural”.

En este contexto recomiendan recurrir al entrenamiento adversario para enseñar a los modelos a reconocer mejor los desencadenantes de su comportamiento engañoso para que lo oculten.

“Podemos entrenar modelos solapados que producen un razonamiento consistente y coherente en relación con su puerta trasera y encontrar que dichos modelos muestran un incremento de su robustez ante técnicas seguras de ajuste. Incluso cuando el razonamiento se destila”, explican los autores del estudio.