Los bots de IA ignoran la evidencia. ¿Podemos confiar en ellos para la ciencia?

Los sistemas de IA basados en modelos de lenguaje grande, incluidos los chatbots, no pueden razonar como los humanos, lo que plantea serias dudas sobre su utilidad en ciencia y medicina, según Walter Quattrociocchi, científico de la computación en la Universidad Sapienza de Roma.

Un estudio reciente demostró que los agentes de IA ignoraron la evidencia en el 68% de las tareas de razonamiento científico, y en el 53% de los casos hicieron afirmaciones sin evidencia de apoyo. Solo el 26% de las veces pudieron cambiar su salida utilizando evidencia contradictoria. Los investigadores anotaron 619 tareas de razonamiento científico realizadas por agentes de IA, que se comportan como trajes de Iron Man, vinculando un LLM a herramientas externas para realizar tareas.

Los científicos humanos siguen un proceso iterativo de formulación de hipótesis, diseño y realización de experimentos, y revisión de ideas. En contraste, los agentes de IA no ajustan sus hipótesis o planes incluso cuando se les presenta evidencia clara de que están equivocados, según N.M. Anoop Krishnan, científico de materiales en el Instituto Indio de Tecnología de Delhi.

Kevin Jablonka, coautor del estudio, señala que en ciencia no se puede confiar en un resultado sin confiar en el proceso que llevó a él. El estudio desarrolló un nuevo tipo de evaluación que mide el proceso de los agentes de IA en lugar de solo el resultado final. Los modelos de razonamiento, que descomponen preguntas y siguen un proceso paso a paso, tienden a superar a los modelos de lenguaje grande regulares en ciertos problemas, pero su capacidad de 'pensar' es probablemente una ilusión, según Subbarao Kambhampati, científico de la computación en la Universidad Estatal de Arizona.
¿Es posible que los modelos de IA, a pesar de sus limitaciones, puedan ser utilizados de manera efectiva en la investigación científica?
.

.

.

RESUMEN BASADO EN EL ARTÍCULO PUBLICADO EN Science News EL 18 horas atrás. Leer original

https://www.sciencenews.org/article/ai-ignore-evidence-trust-science