La Inteligencia artificial (en todo el post, IA), está de moda, pero no parece pasajera. Ha venido para quedarse y me parece importante discutir públicamente sus beneficios y riesgos. Ya hemos hablado en este blog sobre cómo detectar ChatGPT en un TFG. Hoy quiero dar un paso más y responder a la pregunta que encabeza este post: ¿podría la IA crear por sí sola un paper científico de calidad? [Tal vez también te interese: Publicar un paper: guía para noveles].
Una investigación publicada en inglés en la revista Nature ayudará a desentrañar la cuestión. Dos científicos hicieron el experimento, creando un artículo de investigación en menos de una hora con la ayuda de ChatGPT, una herramienta avanzada de IA que puede entender y ofrecer textos similares a los generados por seres humanos. El resultado fue un artículo fluido, perspicaz y presentado en la estructura esperada para un artículo científico, pero los investigadores señalan que hay muchos obstáculos por superar antes de que la herramienta pueda ser realmente útil. Vamos a analizarlo al detalle.
El objetivo era explorar las capacidades de ChatGPT como un «copiloto» de investigación y generar debate sobre sus ventajas y desventajas, según Roy Kishony, biólogo y científico de datos en el Technion, Instituto de Tecnología de Israel en Haifa. ¿Cuál era el tema? Kishony y su estudiante Tal Ifargan, también científico de datos en el Technion, descargaron un conjunto de datos aptos para consulta pública del Behavioral Risk Factor Surveillance System de los Centros para el Control y la Prevención de Enfermedades de Estados Unidos, una base de datos de encuestas telefónicas relacionadas con la salud. El conjunto de datos incluye información sobre el estado de la condición de diabético, consumo de frutas y verduras y actividad física de 250.000 personas.
Los investigadores pidieron a ChatGPT que escribiera código que pudieran usar para descubrir patrones en los datos que pudieran analizar más a fondo. En su primer intento, el chatbot generó un código lleno de errores que no funcionaba. Pero cuando los científicos transmitieron los mensajes de error y le pidieron que los depurase, produjo finalmente código que se podía utilizar para explorar el conjunto de datos.
Con un conjunto de datos más estructurado en mano, Kishony e Ifargan pidieron a ChatGPT que los ayudara a desarrollar un objetivo de estudio. La herramienta sugirió que investigaran cómo la actividad física y la dieta afectan el riesgo de diabetes. Una vez que generó más código, ChatGPT entregó los resultados: consumir más frutas y verduras y hacer ejercicio se asocia con un menor riesgo de diabetes. Luego, se le pidió a ChatGPT que resumiera los hallazgos clave en una tabla y escribiera toda la sección de resultados. Paso a paso, pidieron a ChatGPT que escribiera el resumen, la introducción, los métodos y las secciones de discusión de un manuscrito. Finalmente, pidieron a ChatGPT que refinara el texto. «Compusimos [el artículo] a partir de la salida de muchas indicaciones», dice Kishony. «Cada paso se basa en los productos de los pasos anteriores».
Aunque ChatGPT generó un manuscrito bien redactado y con un análisis de datos sólido, el artículo estaba lejos de ser perfecto, según Kishony. Un problema que encontraron los investigadores fue la tendencia de ChatGPT a llenar los vacíos inventando cosas, un fenómeno conocido como alucinación. En este caso, generó citas falsas e información inexacta. Por ejemplo, el artículo afirma que el estudio «aborda una brecha en la literatura [científica]», expresión muy común en un paper, pero inexacta en este caso, según Tom Hope, científico de la computación en la Universidad Hebrea de Jerusalén. El hallazgo «no es algo que sorprenderá a los expertos médicos. Está lejos de ser novedoso», explica.
Beneficios y riesgos de usar IA en un paper
Kishony también se preocupa de que estas herramientas puedan facilitar que los investigadores participen en prácticas deshonestas, como el «P-hacking», en el que los científicos prueban varias hipótesis en un conjunto de datos, pero solo informan aquellas que producen un resultado significativo.
Otra preocupación es que la facilidad para producir artículos con herramientas generativas de IA pueda resultar en una inundación de revistas con documentos de baja calidad, agrega. Afirma que su enfoque de datos a artículo, con una supervisión humana central en cada paso, podría ser una forma de garantizar que los investigadores puedan comprender, verificar y replicar fácilmente los métodos y los hallazgos.
Vitomir Kovanović, quien desarrolla tecnologías de IA para la educación en la Universidad de Australia del Sur en Adelaide, señala que es necesario tener una mayor visibilidad de las herramientas de IA en los artículos de investigación. De lo contrario, será difícil evaluar si los hallazgos de un estudio son correctos, indica. «Es probable que tengamos que hacer más en el futuro si la producción de documentos falsos se vuelve tan fácil».
Conclusión: IA en la redacción científica, ¿sí o no?
Las herramientas de IA generativas tienen el potencial de acelerar el proceso de investigación al llevar a cabo tareas sencillas pero que consumen mucho tiempo, como escribir resúmenes y generar código, dice Shantanu Singh, biólogo computacional en el Broad Institute del MIT y Harvard en Cambridge, Massachusetts. Podrían utilizarse para generar artículos a partir de conjuntos de datos o para desarrollar hipótesis, afirma. Sin embargo, debido a que las alucinaciones y los sesgos son detectables para los investigadores, Singh concluye: «No creo que escribir artículos completos, al menos en el futuro previsible, sea un uso particularmente bueno».
Por tanto, la respuesta a la pregunta inicial sería: ChatGPT puede ayudar con determinadas tareas que de escaso valor añadido para el artículo, pero es imposible que genere un texto científico original de calidad. A veces, la presión por publicar (el desconocido lado oscuro de la Ciencia) puede hacernos perder de vista el objetivo de investigar: aportar resultados significativos que sumen conocimiento valioso y aplicable a un campo de estudio. No parece que ChatGPT sirva para tal fin. Al menos, de momento. Habrá que seguir atentos a la evolución de la IA. Mientras tanto, redactar sin plagio, con lenguaje inclusivo y respeto por la ética científica sigue siendo cosa de humanos. Docendo Discitur puede contribuir a mejorar tus textos de forma eficiente y personalizada. Entre otras cosas porque detrás de este blog hay una mujer y no un ente de IA.
FUENTE: Conroy, G. «Scientists Used ChatGPT to Generate an Entire Paper from Scratch — but Is It Any Good?» Nature, 7 de julio de 2023.
Docendo Discitur 