La reproducibilidad es un principio básico de la ciencia. Dado que los resultados que se publican en forma de artículo científico no son elucubraciones de sus autores sino intentos y reivindicaciones de explicar cómo funciona la naturaleza, estos resultados deben cumplir con la condición de que puedan ser verificados y reproducidos por otros investigadores. Desde hace algún tiempo y especialmente en el campo de la biomedicina, se viene argumentando que muchos de los trabajos publicados no responden a esta condición básica. Casi la totalidad de los artículos en las ciencias biomédicas reivindican resultados significativos y a pesar de ello menos de la mitad de los descubrimientos acaban siendo reproducibles. También, en el caso de investigaciones de gran visibilidad como los ensayos clínicos se sabe que más de la mitad no se publican y los que acaban publicándose muchos acaban analizando los resultados en formas no previstas en el diseño inicial lo que conduce a errores metodológicos graves.

Estas sospechas tienen una repercusión social innegable. Es evidente que la ciencia ha pasado de ser la ocupación de un grupo selecto de la población a una industria global que emplea a más de 15 millones de personas que entre 1996 y 2001 publicaron más de 25 millones de artículos científicos y que sigue publicando a razón de unos 1,5 millones de artículos por año. Los avances científicos conseguidos con este esfuerzo importante han comportado, sin duda, cambios sociales inimaginables hasta hace solo unos años. Sin embargo, si se analiza con detalle esa inmensa producción científica se observa que los descubrimientos reales y de aplicación inmediata son muy escasos. Los expertos afirman que las causas hay que buscarlas precisamente en esa exageración o falsedad en la descripción de los fenómenos observados y en la lentitud y poca eficacia en la traslación de los conocimientos en aplicaciones prácticas.

John P.A. Ioannidis

Uno de los principales expertos que hace unos 10 años lanzó una de las primeras piedras es John P.A. Ioannidis, que actualmente codirige el Meta-Research Innovation Center de la Universidad de Stanford, California. Así, en un artículo en 2005 titulado: “Why most published research findings are false”, en el que, usando métodos estadísticos, concluía que la mayoría de los resultados de investigación que se publican son falsos. Este artículo sigue siendo uno de los trabajos más consultados de esta revista. Desde entonces ha seguido estudiando y desenmascando esta situación. En otro de sus más recientes trabajos: “How to make more published research true”, propone algunas soluciones. 

La discusión actual sobre este tema también ha sido alimentada, en parte, por industrias farmacéuticas como Bayer Heathcare y Amgen. En 2011, científicos de Bayer se quejaron públicamente de no poder reproducir un 75 % de resultados publicados en el campo de las enfermedades cardiovasculares, cáncer y salud de la mujer. A estas quejas se sumaron las de investigadores que habían trabajado en Amgen, denunciando que habían tratado de replicar unos 53 estudios importantes en biología del cáncer pudiendo solo confirmar los resultados de seis de ellos. El caso es que estas quejas en sí mismas no pudieron ser verificadas porque las propias empresas no dieron a conocer ni sus propios métodos ni resultados. También agencias de financiación de la investigación tan relevantes como los National Institutes of Health han manifestado a través de altos cargos la preocupación por estos hechos.

Tampoco las revistas científicas de primer orden como Nature se han mantenido ajenas a esta polémica. Por ejemplo, en una editorial de abril de 2013 Nature anunció medidas para mejorar la consistencia, transparencia y calidad en la descripción de sus artículos en el campo de las ciencias de la vida. Más recientemente ha introducido una lista de control que debe ser usada en todos los artículos en el campo de las ciencias de la vida que se publiquen a partir de enero de 2015 para mejorar su transparencia.

reproducibility_initiative.jpg

En este proceso es destacable la creación de una empresa como Science Exchange, una “spin-off” co-fundada por la genetista Elizabeth Iorns en Palo Alto en 2011, cuyo objetivo es organizar el conjunto de intercambios necesarios para que laboratorios que quieran que sus experimentos sean validados por otro laboratorio puedan hacerlo pagando un coste razonable. Esta empresa ha ido más allá promoviendo en 2012 una operación conocida como Reproducibility Initiative, que cuenta con la colaboración de una revista de acceso abierto (PLOS), un repositorio de resultados de investigación (Figshare) y una plataforma de ayuda para acelerar la velocidad de los descubrimientos científicos en el mundo académico (Mendeley). Al año siguiente, 2013, esta iniciativa consiguió 1,3 millones de dólares de la Fundación Laura y John Arnold de Houston para validar 50 artículos con alto índice de impacto publicados entre 2010 y 2012 en el tema del cáncer. La administración de este fondo se realiza a través del Center for Open Science, creado también en 2013 con otra donación de 5,25 millones de la misma fundación, que tiene como objetivo promover la transparencia, integridad y reproducibilidad de la investigación científica.

Aunque reproducir (llegar a los mismos resultados aunque no por los mismos procedimientos) no es tan complicado como replicar (llegar a resultados idénticos con exactamente los mismos procedimientos y medios), no deja de ser una tarea muy difícil incluso contando con la colaboración de las dos partes. Un caso reciente son las declaraciones de dos equipos de investigación, uno del Lawrence Berkeley National Laboratory y otro del Dana-Faber Cancer Institute, sobre los intentos de reproducir una serie de datos obtenidos por uno de ellos. La tarea que debía durar unos pocos meses acabó convirtiéndose en un trabajo de dos años. Al final el problema pudo achacarse a una nimiedad tal como la manera como se agitaban ciertas muestras durante su preparación rutinaria.

Haruko_Obokata_image.jpg

Mucha menos suerte ha tenido Haruko Obokata, del Riken Institute en Kobe (Japón), que publicó dos artículos en Nature en enero de 2014. Estos trabajos daban a conocer una manera tan simple de obtener células embrionarias a partir de casi cualquier tipo de célula adulta como someterlas a un baño de 30 minutos en medio ácido. De ser cierto esto hubiera sido un gran descubrimiento. Ante las quejas de diferentes laboratorios que intentaron reproducir estos procedimientos, el Instituto Riken creó una comisión de investigación que ha estado trabajando durante 8 meses en colaboración con Obokata. En diciembre del año pasado la comisión concluyó que los resultados son falsos y que se deben a una contaminación de las muestras que muy probablemente no fuera accidental sino intencionada. Para colmo el asunto podría acabar con una investigación criminal.

Gregorio Valencia Parera
Gregorio Valencia Parera

Es doctor en ciencias químicas y ha sido investigador científico del CSIC en el Instituto de Química Avanzada de Cataluña (CSIC). Ha trabajado en química de péptidos y en el descubrimiento de fármacos para el dolor y enfermedades amiloides. Ahora está jubilado. Es socio de l'ACCC desde su creación.

Sobre este blog

La ciencia, como cualquier actividad humana, no está libre de tensiones que se producen entre el científico y su propia obra, entre los mismos científicos y entre los científicos y la sociedad destinataria de esta obra. Analizar estas tensiones ayuda a entender el esfuerzo y el alcance de los descubrimientos científicos. Por su impacto social, la ciencia biomédica es proclive a ellas.

Ver todos los artículos