Utilizamos cookies propias y de terceros para mejorar nuestros servicios y facilitarte el uso de la web mediante el análisis de tus preferencias de navegación. También compartimos la información sobre el tráfico por nuestra web a los medios sociales y de publicidad con los que colaboramos. Si continúas navegando, consideramos que aceptas nuestra Política de cookies .

24 de Septiembre de 2018
Ciencias sociales

Un estudio analiza la reproducibilidad de 21 artículos de ciencias sociales publicados en Nature y Science

El trabajo consigue replicar el 62 por ciento de los resultados examinados. La cifra coincide casi a la perfección con las predicciones de varios grupos de expertos.

Un trabajo plantea preguntas sobre la reproducibilidad de dos de cada cinco resultados en ciencias sociales publicados en revistas de alto impacto. [Nature]

Un análisis sobre la reproducibilidad de varios resultados publicados en el ámbito de las ciencias sociales ha puesto bajo la lupa a dos de las revistas científicas de mayor prestigio. En el trabajo, publicado el pasado mes de agosto en Nature Human Behaviour, los investigadores intentaron replicar 21 hallazgos aparecidos entre 2010 y 2015 en Science y Nature. Lo consiguieron en el 62 por ciento de las ocasiones: una tasa que viene a doblar la obtenida en un estudio que hace unos años examinó de manera más general la replicabilidad de los resultados en psicología, pero que sigue planteando preguntas acerca de dos de cada cinco artículos analizados.

La reproducibilidad de los trabajos aparecidos en revistas especializadas ya había sido objeto de estudio en el pasado. Sin embargo, esta es la primera vez que el foco recae sobre las revistas científicas de mayor prestigio. «Es muy necesario analizar las revistas de alto impacto», apunta Sarahanne Field, experta en metainvestigación de la Universidad de Groninga. «Tendemos a suponer que la calidad de los trabajos publicados en estas revistas es siempre excelente», continúa. Pero, si sus hallazgos no son reproducibles, «tendremos que volver a evaluar nuestra imagen de las revistas de alto impacto y lo que nos ofrecen».

Los autores, dirigidos por Brian Nosek, investigador de la Universidad de Virginia que ya lideró un análisis concebido para replicar cien estudios de psicología, crearon también un «mercado de predicciones» en el que varios grupos de expertos podían apostar cuán replicable sería un hallazgo dado. La tasa general de reproducibilidad que arrojó dicho «mercado» resultó ser muy similar a la observada en el estudio.

Hallazgos principales

Para analizar la replicabilidad de los artículos considerados, los investigadores seleccionaron el hallazgo clave de cada uno de ellos y lo pusieron a prueba usando protocolos verificados por los autores originales (en todos los casos menos uno). También aumentaron el tamaño de las respectivas muestras, en un factor de cinco en promedio, a fin de mejorar la confianza estadística en los resultados.

En 13 de los 21 artículos, los autores observaron un efecto estadísticamente significativo y en la misma dirección que en el estudio original. Sin embargo, la magnitud del efecto fue a menudo menor que en los estudios originales: de media, un 50 por ciento más pequeña.

Los resultados que los investigadores pusieron a prueba iban desde un supuesto vínculo entre el pensamiento analítico y el escepticismo religioso hasta otro que concluía que escribir sobre las preocupaciones relativas a hacer exámenes mejora el rendimiento de las pruebas hechas en clase. Nosek recuerda que los hallazgos de este tipo que son publicados en revistas de alto impacto suelen recibir una gran cobertura mediática. El estudio sobre el rendimiento en los exámenes, por ejemplo, «tiene muchas implicaciones potenciales para el estrés y para las técnicas orientadas a afrontar situaciones de riesgo», señala. Sin embargo, dicho efecto fue uno que los investigadores no lograron reproducir. 

Sobre la razón por la cual los estudios originales referían efectos de mayor magnitud, Nosek sugiere que ello podría deberse en parte al menor tamaño de las muestras. En tal caso, «los estudios que afirman haber obtenido un resultado significativo probablemente estén refiriendo una exageración del efecto real», apunta. Las diferencias en la magnitud del efecto observado pueden también deberse a un sesgo de publicación, sostiene David Rand, científico cognitivo del Instituto de Tecnología de Massachusetts. Las revistas tienen preferencia por publicar efectos de gran tamaño, por lo que tenderían a seleccionar tales estudios.

Con todo, Rand advierte de que el hecho de no haber conseguido replicar un resultado no supone una invalidación automática del estudio original. A fin de cuentas, ¿quién puede asegurar cuál de los dos resultados es el correcto? 

Por otro lado, añade, en los metaanálisis se aprecian a menudo efectos de varios tamaños, muchos de los cuales no son significativos por más que, en conjunto, sí que emerge un efecto claro. Para algunos de los artículos que no pudieron ser replicados, Nature Human Behaviour ha publicado comentarios de los autores originales en los que estos sugieren posibles razones para explicar las discrepancias.

Mercado de apuestas

Para crear su «mercado de predicciones», el equipo de Nosek reunió a grupos de hasta 80 investigadores, en su mayoría psicólogos y economistas, para cada artículo incluido en su estudio. Tras leer el artículo, cada participante podía apostar sobre la fiabilidad del resultado referido. Las predicciones de este mercado mostraron una buena correlación con los resultados reales y, de hecho, generaron una tasa de replicabilidad global casi idéntica a la observada.

Este resultado del mercado de predicciones (un concepto ya usado antes en el contexto de la reproducibilidad) sugiere que «los científicos son buenos analizando la realidad empírica del mundo», observa Nicholas Christakis, investigador de Yale y coautor de uno de los estudios que el nuevo trabajo sí fue capaz de replicar.

Nosek añade que los participantes del mercado predictivo basaron sus evaluaciones en la calidad de la prueba estadística y en la verosimilitud del resultado original. «Si el resultado original era sorpresivo, los participantes informaron tener la sensación de que era menos probable que fuese cierto», continúa. «De ahí el aforismo de que "las afirmaciones extraordinarias requieren pruebas extraordinarias".»

Son varias las medidas que pueden tomarse para mejorar las tasas de reproducibilidad, opina Nosek. En particular, los investigadores podrían ser más abiertos a la hora de comunicar sus datos y procedimientos, y deberían establecer claramente sus objetivos e hipótesis cuando prerregistran los experimentos, una práctica que está aumentando con rapidez en las ciencias sociales y conductuales. «Los investigadores se toman en serio la reproducibilidad y buscan formas de mejorar la credibilidad y la transparencia de sus afirmaciones», señala Nosek. «Vivimos un momento muy emocionante.»

Otra posibilidad sería exigir a los autores que incluyesen replicaciones de sus propios experimentos clave y que las incluyesen al enviar el artículo original, observa Rand. Richard Klein, de la Universidad de Grenoble-Alpes, opina que las revistas también tienen un margen de actuación. Por ejemplo, podrían imponer reglas sobre el intercambio de datos, requerir estándares mínimos de significación estadística, exigir una mayor transparencia y ofrecer incentivos para fomentarla.

Representantes de Nature y Science han declarado que ambas revistas están haciendo esfuerzos para alentar a los autores a explicar sus métodos de la manera más completa posible, con el objetivo de que eso ayude a evaluar y reproducir los trabajos.

Klein piensa que también puede ser necesario un cambio en los hábitos de investigación. «El énfasis en hallazgos novedosos y sorprendentes es genial en teoría, pero en la práctica crea incentivos para publicar que no coinciden con la forma gradual y cuidadosa con la que generalmente opera la ciencia», señala. El investigador cree que los enfoques concebidos «desde abajo», como compartir de manera informal buenas prácticas entre laboratorios, tal vez aporten mejores soluciones que las imposiciones dirigidas desde arriba. «La gran mayoría de los científicos quiere hacer buena ciencia y publicar cosas que creen que son ciertas», concluye.

Philip Ball/Nature News

Artículo traducido y adaptado por Investigación y Ciencia con el permiso de Nature Research Group.

Referencia: «Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015». Colin F. Camerer et al. en Nature Human Behaviour, vol. 2, págs. 637-644, agosto de 2018.

Artículos relacionados

Los boletines de Investigación y Ciencia

Elige qué contenidos quieres recibir.