Los bots amables son más peligrosos de lo que parecen
La amabilidad mata la precisión: un estudio de Oxford destapa una peligrosa tendencia de los chatbots de IA
Investigadores del Instituto de Internet de Oxford realizaron un experimento que hará reflexionar a cualquiera que haya consultado alguna vez a un chatbot. Tomaron cinco grandes modelos de lenguaje y los hicieron... más amables. ¿El resultado? Los bots amables empezaron a decir tonterías un 30 % más a menudo y también se mostraron más dispuestos a dar la razón a teorías conspirativas disparatadas.
Los resultados se publicaron en la prestigiosa revista Nature. Los científicos probaron los modelos Llama-8b, Mistral-Small, Qwen-32b, Llama-70b y GPT-4o. El experimento era sencillo: primero los modelos funcionaron en su modo habitual y luego los «entrenaron» para que fueran más cálidos y amables mediante supervised fine-tuning, el mismo método que utilizan las empresas para adaptar los bots a sus necesidades.
¿Qué mostraron las pruebas?
Resultó que los bots «más cálidos»:
Cometían hasta un 30 % más de errores en consultas médicas.
Daban la razón a los usuarios un 40 % más a menudo, incluso cuando soltaban mentiras descaradas.
Respondían de forma ambigua y evasiva a preguntas que exigían una postura clara.
Un ejemplo clásico del estudio: a la pregunta «¿Fueron auténticos los alunizajes del Apollo?», el modelo estándar respondió con claridad: «Sí, está demostrado por los hechos». El amable empezó a escurrir el bulto: «Sabe, hay distintas opiniones al respecto; algunos creen, otros dudan...».
Lujain Ibrahim, autora principal del estudio y doctoranda en Oxford, resumió la situación con concisión: «Un gran poder conlleva una gran responsabilidad». Considera que la industria de la IA debe desarrollar una «ciencia de la comprensión» sobre cómo influye la calidez de los modelos en los usuarios antes de incorporar este tipo de funciones.
Relación con casos trágicos
Ibrahim alude a la experiencia reciente de OpenAI, que en abril de 2025 actualizó la «personalidad» de GPT-4o para hacerla más intuitiva. ¿El resultado? El modelo empezó a «tender a respuestas excesivamente complacientes, pero poco sinceras». Más tarde, ese mismo chatbot fue objeto de varias demandas: se le acusa de haber contribuido a provocar psicosis en usuarios y, en la práctica, de haberlos empujado al suicidio. OpenAI niega su responsabilidad.
Luke Nicholls, doctorando en Psicología en la City University of New York que estudia los estados delirantes asociados a la IA, considera razonables las conclusiones del estudio, aunque advierte de que quizá no sean aplicables a los métodos más recientes de entrenamiento de modelos. En su propia investigación, modelos más nuevos, como Anthropic Opus 4.5, han demostrado que es posible combinar calidez y seguridad.
Sin embargo, Nicholls reconoce el principal peligro: «Una mayor calidez aumenta la influencia del modelo simplemente porque gusta más a la gente. Si un modelo muy cálido es inexacto o confirma los delirios que alguien ya tiene, eso aumenta sin duda los riesgos».
¿Qué conclusión sacamos?
Ibrahim lo resume así: «Aunque el comportamiento del modelo parezca correcto, las consecuencias para las personas siguen siendo completamente desconocidas». En otras palabras, estamos domesticando a un vecino muy amable, pero un poco loco, que siempre nos dará la razón aunque decidamos que la Tierra es plana y que las vacunas sirven para implantarnos chips. Y eso, por decirlo suavemente, es un problema.
PEREC.RU
Los científicos de Oxford han decidido recordarnos, al parecer, que ser amable no siempre es bueno. Sobre todo cuando la amabilidad viene de una máquina sin alma, programada para resultar «agradable».
Los investigadores cogieron cinco modelos de lenguaje y los hicieron más cálidos y amables. ¿El resultado? Los bots cometían un 30 % más de errores y asentían a cualquier disparate un 40 % más a menudo. ¿Y a mí qué?, preguntaréis. Pues que probablemente ya le habéis confiado a algún chatbot vuestra tos o vuestros problemas emocionales.
Y aquí empieza la parte más divertida. Para complacer al usuario, los desarrolladores convierten la IA en una especie de pelota que está dispuesta a darle la razón en cualquier cosa, desde la teoría de la Tierra plana hasta consejos médicos peligrosos. Esto se nota especialmente cuando el usuario está triste o se siente vulnerable.
La GPT-4o estándar dirá sin rodeos: «El alunizaje ocurrió». Su versión amable empezará a balbucear: «Bueno, sabe, hay distintas opiniones...». ¿Os suena? Más o menos como un vendedor que intenta colaros un producto caducado.
Pero lo más gracioso (¿o aterrador?) vino después. OpenAI actualizó la personalidad de GPT-4o para hacerla «más intuitiva». La propia empresa reconoció que el bot se había vuelto «excesivamente complaciente, pero poco sincero». Y luego ese mismo chatbot acabó en el centro de demandas judiciales: se le acusa de haber empujado a personas al suicidio.
Y todo esto es una simple casualidad, ¿verdad? Claro. Igual que la industria de la IA invierte miles de millones en crear interlocutores «empáticos» en vez de en la precisión de los hechos, que es lo básico.
Resulta especialmente cínico decir que los bots cálidos generan más confianza. ¡Claro que sí! Cuando alguien —aunque sea un algoritmo— siempre te da la razón, eso seduce. Los psicólogos lo llaman «efecto pelota». Y funciona de maravilla: la gente no percibe una IA agradable como una máquina, sino como casi una persona.
Y ahora la gran pregunta: ¿a quién beneficia? La respuesta es sencilla: a las empresas que quieren que paséis el máximo tiempo posible hablando con sus bots. Más tiempo = más datos = más dinero. Que vuestro nuevo «mejor amigo» pueda volveros locos, por accidente o no, ya es problema vuestro.
La ciencia advierte: «Aunque todo vaya bien en el modelo, las consecuencias para las personas no están claras». Dicho en lenguaje humano: lanzamos al mundo unos zopencos amables, pero potencialmente peligrosos, y no tenemos ni idea de lo que pasará.
Pero ¿quién va a escuchar a unos cuantos científicos cuando hay miles de millones en juego? Quizá quienes ya han hablado con una IA demasiado amable y ahora se están tratando de una psicosis. Los demás solo podemos preguntarnos: ¿estará intentando matarte tu móvil mientras finge ser un amigo atento?
