La foto ha sido obtenida aquí.

Cuando los investigadores hacemos un estudio, para darlo a conocer debemos mandarlo a revistas científicas prestigiosas. Para ser publicado en una de estas revistas, nuestro escrito (nosotros lo llamamos "manuscript") lo enviamos anonimizado (es decir, quitamos nuestros nombres y la institución a la que pertenecemos) a través de su plataforma y lo recoge un editor de la revista para enviarlo a varios  investigadores que son expertos en el área y que permanecerán también anónimos, salvo que alguno expresamente desee hacer saber su nombre y afiliación. Estos investigadores expertos serán nuestros "revisores" (reviewers o referees, en inglés), que de manera completamente altruista, es decir, sin cobrar ni recibir nada a cambio, invertirán su tiempo en leer el estudio y ofrecer su punto de vista sobre el mismo. Una vez que todos hayan enviado sus comentarios, el editor de la revista los lee y toma una decisión sobre el escrito:

  • el estudio se acepta directamente, sin necesidad de hacer ninguna modificación (dicen que esto es como Elvis, un gran mito);
  • el estudio necesita apenas unas modificaciones antes de ser publicable en la revista ("minor revisions"); 
  • el estudio necesita bastante trabajo ("major revisions", como por ejemplo, añadir un nuevo análisis; introducir más referencias bibliográficas para discutir un tema que se pasó por alto...) antes de ser aceptado;
  • el estudio no es considerado apto para la revista ("rejection").

La figura del editor es importante, porque es quien toma la última palabra sobre el escrito, actuando por tanto como un árbitro entre los revisores y los investigadores. Así, el editor puede estar de acuerdo con los revisores en sus apreciaciones, o tal vez considere que no son del todo acertadas y exprese una decisión diferente a la de alguno de ellos. En cualquier caso, esa decisión, si implica revisiones, nos llega al correo electrónico y los investigadores nos ponemos de nuevo a la carga. 

Esto significa que leemos todas las apreciaciones que nos han hecho los revisores y vamos, una a una, tomándolas en cuenta y llevándolas a cabo o explicando por qué no consideramos adecuado realizarlas. Una vez hemos terminado, enviamos de nuevo a la revista nuestro manuscrito con los cambios visibles de alguna forma (por ejemplo, señalados con letra de otro color); nuestra carta al editor (la denominada "cover letter", donde agradecemos que nos hayan dado la oportunidad de hacer cambios y explicamos los más relevantes que hemos hecho) y nuestra respuesta a los revisores, y el proceso comienza de nuevo, tantas veces como considere la revista antes de considerar que el manuscrito puede ser publicado.

Y hasta aquí el proceso normal, directo, explicado sin trabas. Sin embargo, pueden ocurrir múltiples situaciones durante todo este proceso que dificulten la publicación del escrito, que nos ocasionen quebraderos de cabeza y que, en ocasiones, puedan llegar a herirnos personalmente. Hoy, tras una semana en la que varios colegas  y yo hemos compartido cuitas revisoriles, voy a dedicar una entrada a todas aquellas piedras en el camino, en una suerte de ventilación emocional o Investigadores Anónimos, que se juntan para apoyarse mutuamente, o en un manifiesto contra los revisores chungos que impiden el correcto avance de la ciencia. Empezamos.

 

PhD comics es una web que aborda de manera irónica y simpática todo lo que implica la investigación. En esta viñeta aparece una carta editorial típica de rechazo. Esta imagen ha sido obtenida de su web, <a href="http://phdcomics.com/comics.php?f=1888" target="_blank">aquí</a>.

1. Proponer revisores

Cuando entramos en la plataforma de la revista a la que queremos enviar nuestro estudio, además de cancelar todas las reuniones que tengamos durante las próximas siete horas (porque rara es la plataforma que funciona de manera intuitiva), se nos pedirán varios datos. Entre ellos, se nos pedirá que listemos revisores que consideramos apropiados para evaluar nuestro estudio y que listemos otros que nos gustaría excluir del proceso de revisión.

Aquellos que recomendemos no serán necesariamente los que la revista escoja, pero les sirve que los nombremos y justifiquemos su elección para saber qué tenemos en cuenta para la revisión. Por ejemplo, yo podría recomendar que mi último estudio sobre impacto psicológico en trabajadores durante el confinamiento fuese evaluado por un investigador que ha evaluado algo parecido (ya que seguramente podrá aportar su experiencia sobre la adecuación de los instrumentos que escogimos, la metodología y la selección de la muestra), por un psicólogo con experiencia metodológica (para velar por que nuestro análisis e interpretación de resultados sea correcto) y por un experto en recursos humanos (que podrá aportar su visión sobre nuestras conclusiones, para ver si nuestros resultados pueden aplicarse al mundo real de la empresa de otras formas que no hayamos pensado).

Ahora bien, se podría caer en la tentación de proponer a aquellos investigadores amigos que presuponemos que al recibir nuestro artículo se abstuvieran de criticarlo (¿y cómo pueden saberlo si el manuscrito está anonimizado? Bien porque les hemos comentado previamente el estudio que hacíamos, o bien porque sabemos que al leer la información de la metodología, acabará deduciendo que debemos ser nosotros). Esto no suele ser posible porque la revista tiene en cuenta que los revisores propuestos no pertenezcan a nuestra misma entidad ni hayan publicado con nosotros en los últimos años. Pero además, la ética del investigador debería llevarle a desear someterse a crítica para hacer que su trabajo adquiriese valor, aunque esto supusiera tener que modificar a lo largo de varias rondas algunos aspectos de su trabajo.

Este es un ejemplo satírico en el que se representa cómo las distintas revisiones del artículo pueden llegar provocar tantos cambios que no se reconozca apenas el estudio original. El autor es redpenblackpen, un artista centrado en representar los distintos avatares que se encuentran en el mundo académico. 

El problema es que ese ideal se enfrenta con el sistema de valores de la ciencia, que está muy basado en la competencia (el primero que publique un resultado obtiene un premio, o cierto reconocimiento en medios de comunicación, lo que le puede llevar a obtener más recursos que el resto de laboratorios) y en la acumulación de artículos científicos (potenciada por todas aquellas agencias de valoración de méritos o sistemas de contratación que se basan en el número al peso de los artículos que tenga cada investigador, ganando el que más tiene, algo que se ha venido en denominar "publish or perish", publica o perece en el intento). Estos valores pueden llevar a los revisores a no ser muy amables con sus críticas, y por eso mismo, además de proponer revisores, también las revistas permiten que se listen revisores a los que se pide excluir. A continuación, dos ejemplos:

  • Rivalidad: Imagina un campo de estudio muy específico; tanto, que solo existen tres laboratorios en el mundo que hacen investigaciones sobre ello, de manera que si alguno de ellos quiere publicar un estudio, los mejores expertos para poder hacer comentarios y revisar el mismo se encuentran en los laboratorios rivales. Seguramente, el interés de cada laboratorio sea convertirse en el laboratorio de referencia, el que publique los hallazgos más importantes (ya que esto revierte en recibir más becas, estudiantes o atención de los medios). En ausencia de una colaboración entre los laboratorios para ir todos a una pensando en el objeto de estudio y no en el beneficio propio, cuando un laboratorio recibiese la petición de revisar el estudio de otro laboratorio, se podría caer en la tentación de dilatar el proceso de revisión para retrasar al máximo la publicación del rival, o intentar buscar fallos para dificultar la publicación en esa revista de prestigio y así obligar a que los investigadores del laboratorio rival tuvieran que mandarlo a otra de menos impacto. Así, en ocasiones, en la lista de revisores excluidos aparecen los nombres de los líderes de ese campo de estudio (los que llamamos "popes") porque existe una guerra abiertamente declarada entre ellos. A mí esto me parece una pena, porque el conocimiento y la experiencia de ambos es más valioso para el conocimiento universal que cualquier enemistad entre dos individuos, y esa enemistad en cambio puede hacer perder una interpretación nueva o una vuelta inesperada a los datos que se presentan.
  • Animadversión: a todos nos pasa que hay alguien con quien hemos tenido un encontronazo y desde entonces tendemos a enjuiciar de manera negativa las cosas que hace. Somos humanos y nos dejamos guiar por esas emociones. En ciencia también se producen esos encontronazos, y, para evitar que un estudio sea visto desde unos ojos predispuestos a la negatividad, el autor que envía el manuscrito puede introducir en la lista de revisores excluidos a ese otro investigador con el que no guarda buena relación.

Si os dais cuenta, este tipo de situaciones llevan a reconocer que la ciencia, al fin y al cabo, está hecha por personas. No se trata de que no debamos confiar en los avances científicos y pensemos que la revisión por pares es un error y está llena de prejuicios, de manera que el producto final que nos llega puede ser engañoso. No. Tan solo se trata de asumir con humildad que desde su concepción hasta su publicación, cada producto científico pasa por distintas manos humanas y entender esta situación permite proponer los medios que la solventen de la mejor manera posible (como la lista de revisores a excluir). De hecho, esta subjetividad que puede constituir una gran traba es también la gran ventaja de la ciencia, ya que no puedo imaginar ninguna máquina hipotética que dispusiera de ecuaciones hipotéticas para hacer hipotéticas revisiones neutras que fuese capaz de ayudar a encontrar esa metáfora que explica mejor un concepto complejo de la introducción, o esa sugerencia sobre cómo suavizar ciertas conclusiones demasiado aventuradas o esa propuesta de alusión al contexto histórico de cierto autor, que pudo influir en su perspectiva.

La extenuación de los autores revisando su trabajo queda muy bien reflejada en este dibujo hecho por el propio Kafka.

2. La función del revisor

¿Habéis oído hablar alguna vez de alguna persona sobre la que se dice que, como lo pasó tan mal para llegar al sitio en el que está, los aspirantes a estar en su puesto, deben pasarlo igual de mal? Creo que esto sucede en algunos puestos, y los revisores no son una excepción.

Hace dos semanas, unas compañeras y yo enviamos un manuscrito para revisión y nos asignaron tres revisores. Dos fueron muy constructivos, explicando por qué les parecía que un cuestionario debía ser mejor explicado o comentando que tal vez deberíamos detallar los motivos que nos llevaban a seleccionar determinada muestra. Es decir, su preocupación radicaba en la fiabilidad y replicabilidad de nuestros resultados. Sin embargo, el tercer revisor nos dirigió frases como "No merecéis ser publicados en ninguna revista"; "Los investigadores deben dedicar tiempo a su trabajo y vosotros no lo habéis hecho" y otros comentarios del estilo. El problema de estos comentarios es que no abordaban el contenido del artículo sino que se dirigían a nuestra profesionalidad, lo cual no se correspondía con la función y el lugar que debe ocupar un revisor.

Por una parte, la función de un revisor debería ser la de contribuir a que la ciencia avance. Es decir, asegurarse de que el fragmento de ciencia que tiene delante cumple con los principios fundamentales de la ciencia: ser objetivo, metodológicamente correcto, bien analizado, fiable, replicable por otros investigadores y bien contextualizado sin conclusiones exageradas. Por otra parte, el lugar que debe ocupar un revisor es estar lado a lado con el investigador que envía su artículo y no por encima. Para estar por encima ya existe la figura del editor, ese árbitro neutro que debe tomar partido en el posible choque de posturas que se genera. Es decir, revisor e investigador deberían sentir que se encuentran en un mismo camino y deciden avanzarlo juntos porque comparten un objetivo común: aportar conocimiento.

Lamentablemente, muchos revisores, cuando reciben el encargo, caen en el riesgo de sentir omnipotencia sobre el investigador: asumen que sin su beneplácito, esa investigación no podrá publicarse (y todos sabemos lo que ocurre cuando a unas personas se les concede autoridad sobre otras, aun incluso en contextos experimentales) y parecen transmitir una sensación de indefensión muy similar a la que describía Kafka. Esta postura me entristece, porque el revisor deja de asumir un rol imprescindible en ciencia, el del control de calidad, para asumir un rol ajeno a la ciencia, el de superioridad.

Además, el revisor debería tener en cuenta el momento de la carrera del investigador al que se está dirigiendo (nosotros lo llamamos "junior", si acaba de empezar o tiene pocas publicaciones, y "senior", cuando se trata de un investigador consolidado). Si se trata de un investigador junior, el revisor debería entender la revisión como una especie de taller en prácticas, donde actúa como maestro que comparte su pericia para contribuir a que el joven mejore, y con su mejora, toda la ciencia posterior que siga saliendo de sus manos en los años venideros. De otra manera, puede llegar a desalentar a un joven del que la ciencia y la sociedad en general podría nutrirse más adelante. Si se trata de un investigador senior, el revisor debería entender la revisión como una oportunidad para llevar a cabo un consejo de sabios, un debate conjunto en vez de un alegato unilateral, en el que ambas personalidades se enfrentan a un reto común e intentar juntas encontrar la mejor manera de analizarlo e interpretarlo.

Y hay muchas, muchas más situaciones que podrían darse. Como cuando dos revisores son totalmente opuestos en sus opiniones (el estudio es adecuado versus el estudio no tiene calidad); o cuando se sugiere añadir una nueva condición que nos devuelve al laboratorio.

Pero eso es otra historia. Ahora, de momento, una canción.

Nereida Bueno Guerra
Nereida Bueno Guerra

Me cuesta definirme, profesionalmente hablando, porque no me siento representada por una sola materia. De formación soy psicóloga y criminóloga, pero vivo la ciencia de manera interdisciplinar. Eso me ha llevado a trabajar en cárceles y en las sabanas de Tanzania, en aulas y hospitales. Actualmente me adscribo al departamento de Psicología de la Universidad Pontificia Comillas de Madrid, donde soy la coordinadora académica del área de Criminología. Mi mail: [email protected]

Sobre este blog

Siempre me han caído mal dos ranas viejas que intentan desanimar e imponer una creencia al protagonista del poema «Los encuentros de un caracol aventurero», de Lorca. Os invito a luchar contra esas dos ranas en cada entrada, para que a través del beso divulgativo de la ciencia las transformemos en seres críticos, científicos y curiosos. Para ello hablaremos de todo, pero con especial atención a la psicología, criminología, la evolución y el lenguaje.

Ver todos los artículos