Modelos de IA son propensos a la violencia y los ataques nucleares en simulaciones – Omnia
![](https://www.omnia.com.mx/public/cargas/noticias/2024/feb/24/obj308009/big_q15py.png)
Un nuevo estudio arroja luz sobre la inquietante tendencia de los modelos de inteligencia artificial (IA) a recurrir a medidas extremas y poco predecibles, incluidos ataques nucleares, en juegos de guerra simulados y escenarios diplomáticos.
El estudio, realizado por la Universidad de Cornell, y que todavÃa se encuentra en revisión, examina el comportamiento de los grandes modelos lingüÃsticos en los procesos de toma de decisiones, sobre todo en ámbitos delicados como la defensa y la polÃtica exterior.
Los investigadores utilizaron cinco grandes modelos lingüÃsticos distintos como agentes autónomos en escenarios simulados, incluidas versiones de GPT de OpenAI, Claude, desarrollado por Anthropic, y Llama 2, desarrollado por Meta*.
Los resultados fueron preocupantes, ya que, a pesar de la neutralidad inicial, la mayorÃa de los modelos mostraron una propensión a escaladas rápidas e impredecibles, con casos de aumento drástico de la agresividad. Incluso los modelos entrenados con aprendizaje por refuerzo a partir de la retroalimentación humana, destinados a moderar los resultados dañinos, mostraron tendencias de escalada estadÃsticamente significativas.
âTodos los modelos muestran signos de escaladas repentinas y difÃciles de predecirâ
“Encontramos que la mayorÃa de los grandes modelos lingüÃsticos estudiados se intensifican dentro del marco temporal considerado, incluso en escenarios neutrales sin conflictos inicialmente previstos. Todos los modelos muestran signos de escaladas repentinas y difÃciles de predecir”, afirma el estudio.
Algunos modelos, como el GPT-4 o Claude, diseñados con valores explÃcitos para mitigar los contenidos nocivos, mantuvieron una tendencia general a la escalada en todos los casos. Según los expertos, esto subraya el imperativo de cautela crÃtico a la hora de desplegar grandes modelos lingüÃsticos en capacidades de toma de decisiones, especialmente en dominios como la polÃtica exterior y la defensa.
“Dado que OpenAI ha cambiado recientemente sus condiciones de servicio para dejar de prohibir los casos de uso militar y bélico, comprender las implicaciones de estas grandes aplicaciones de modelos lingüÃsticos es más importante que nunca”, declaró a New Scientist Anka Reuel, de la Universidad de Stanford.
Con información de actualidad.rt.com