La crisis científica de la reproducibilidad Spock, Asimov y la Tiotimolina Resublimada

Transcripción del vídeo. Verlo en el canal.

6:00 Ubik enlace

7:24 las plantas y la inteligencia

«La ciencia es más cercana al mito de lo que un científico quisiera admitir. Detrás de su precisión aparente, permanece siempre un fondo irreductible de incertidumbre y caos». Paul Feyerabend

Mientras conducía el otro día por las sórdidas rondas arteriales de la ciudad, recibí la llamada de mi amigo Spock, científico de profesión. Yo me encontraba en el principio de un largo viaje en coche así que al escucharle sollozar me dispuse a escuchar una historia de la que no sabía nada, la así llamada "Crisis de la reproductibilidad". Spock me explicó es que existe un cáncer en el interior del sistema científico y que los estudios que se publican son cada vez más difíciles de reproducir por parte de otros equipos. Este será nuestro punto de partida hoy.

El fraude, la mala praxis, los planteamientos teóricos y estadísticos equivocados y, sobre todo, un sistema monetizado son los que han ayudado a que la ciencia lentamente se corrompa en su propio jugo. Spock me explicó que para analizar la naturaleza de esta crisis, la revista Nature realizó una encuesta a 1.500 científicos y descubrió que el 70% de los encuestados no pudo replicar los resultados de otro científico, y el 50% no pudo reproducir ni siquiera sus propios datos en un segundo experimento. Además, el informe indicó que algunas de las principales razones por las cuales los datos no eran reproducibles incluyen la presentación selectiva de los resultados, la presión por publicar, el bajo poder estadístico o un análisis deficiente, la falta de replicación suficiente en el laboratorio original y una supervisión o mentoría insuficiente, entre otras razones. Con esto, más del 50% de los científicos encuestados consideraron que nos encontramos en una crisis significativa, de proporciones dramáticas. El reconocimiento de esta crisis es importante para todos los campos de la ciencia porque de pronto un sistema que parecía perfecto, aparece tan falible como otros sistemas pseudocientíficos. Mientras me hablaba aparecía al fondo la temible cementera con sus funestas estructuras. Yo, ser sobre todo esotérico, explorador apócrifo, traté de consolar a mi amigo, pero me quedó la idea de la crisis de la ciencia en la cabeza.

Aquí veo interesante mencionar un extraño libro de antropología que viene al caso. La vida en el laboratorio, de Bruno Latour, es una mezcla entre ensayo de investigación y pieza literaria postmoderna suprema. En ella, Latour se transforma en un antropólogo y, tal y como su acudiera a una antigua y misteriosa tribu del amazonas, entra en un laboratorio de endocrinología para realizar trabajo antropológico de campo. El libro es un preciso estudio del funcionamiento de un laboratorio y llega a temerarias conclusiones en torno a lo que realmente se hace cuando uno dice que "hace ciencia". El libro incluye un exhaustivo análisis de las estructuras de poder entre los científicos del laboratorio endocrinológico, de los intereses subyacentes, de las invenciones conceptuales que se realizan con tal de sacar adelante financiaciones bajo presión extrema: como subyacen el poder y el dinero y son ellos quienes lo enturbian todo. Uno acaba triste y embarrado, ya sin el asidero seguro de la ciencia y abocado a la total pseudociencia de la existencia, borracho de dolor de desconocimiento de lo que creía cierto, evoco a Isaac Asimov, quien, finalmente, decidió jugar también con lo científico. En 1948, mientras preparaba su doctorado en bioquímica en Columbia, publicó un artículo titulado "Las propiedades endocrónicas de la Tiotimolina Resublimada". El artículo, publicado en Astounding Science Fiction, habla de una sustancia, la Tiotimolina, que se disuelve antes de entrar en contacto con el agua. Es tan soluble que sus propiedades trascienden el tiempo. Sería como si el azúcar quedara integrado en el café antes de entrar en contacto con él, en un salto cuántico imposible. Asimov escribió el delirante artículo como si se tratara de un auténtico trabajo científico, con una estructura y lenguajes propios de un artículo académico. Temió que sus profesores lo machacaran, pero fue celebrado como una excelente parodia del sistema científico.

Lo que se denuncia con esta crisis de la reproducibilidad no es la ciencia en sí o lo científico, sino la mala praxis dentro de un contexto que necesita del máximo rigor. Se pueden hacer mejor las cosas. Al plantear los estudios se cometen errores estadísticos, de lógica, errores determinados por presiones económicas, de poder laboral... todo ello está descrito en la obra de Latour con gran detalle.

Hemos de fijarnos por último en otro detalle significativo: los divulgadores de la ciencia le suelen dar total validez a un estudio en función de su valor P, un cálculo estadístico que nos dice bastante sobre su fiabilidad. Sin embargo, aquí algo falla, dado que el valor P nunca se pensó como una medida para medir si los resultados de un estudio eran relevantes o no. El valor P originalmente estaba destinado a determinar si los datos merecían un segundo vistazo o no. Esto mejoraría la situación. No hemos de permitir la degradación o el deterioro del conocimiento científico (imagen de cántico por Leibowitz)

Esto nos lleva a una conclusión dramática: los valores p no son realmente significativos ni indicativos de nada hasta que un resultado no se replica y reproduce de forma independiente. Estudiar estadística, lógica y en última instancia filosofía de la ciencia es clave para que la comunidad científica mejore. Pienso en el caso de un oscuro Youtuber, que hace dos años nos dio una lección de análisis financiero al explicarnos cómo existen múltiples formas de analizar un mismo set de datos. Cogía los clásicos gráficos de inversión y los analizaba según criterios no euclidanos para descubrir insights secretos, cosas inéditas dentro de "lo mismo". Os recomiendo profundizar en este vídeo que os dejo en descripción si queréis conocer cómo se pueden utilizar espacios lorenzianos en el análisis financiero. Se trata de espacios en los que se tiene en cuenta mejor la relatividad general de Einstein. (por eso digo que peta la cabeza)

Uno sabe, finalmente, a medida que vive en la circularidad extrema del día a día, de las semanas, de los pedregosos trabajos, el ciclo año a año, de los meses y las estaciones, que todo se repite y al mismo tiempo nada es igual. Que en esencia no hay reproductibilidad más que en nuestras quiméricas mentes. Pienso en mi amigo Spock, científico sollozante en la noche, y en la misteriosa frase que dijo Paul Feyeraben, gran filósofo especulativo: «La ciencia es más cercana al mito de lo que un científico quisiera admitir. Detrás de su precisión aparente, permanece siempre un fondo irreductible de incertidumbre y caos». Lo que predomina es el telúrico misterio de fuerzas intangibles que escapan al concepto. La sensación podría ser superior al intelecto, especulamos en la noche, mientras afuera sopla el viento.

El dilema del valor p

¿Cómo pueden los científicos mejorar la reproducibilidad?

Mejorar la reproducibilidad comienza en el laboratorio. Los investigadores principales y los científicos sénior deben ser conscientes de esta crisis y comenzar a orientar a los nuevos científicos para que sigan estándares más rigurosos. Aquí hay algunos consejos para iniciar este proceso:

1. Aprender más sobre estadística: Como se mencionó anteriormente, si los científicos pueden familiarizarse más con otros métodos estadísticos y también colaborar con estadísticos, esto mejorará enormemente la forma en que se analizan y presentan los datos, lo que conducirá a la publicación de datos más confiables.

2. Realizar validaciones internas en el laboratorio: Otro científico en el laboratorio debe validar un experimento realizado por un colega en el mismo laboratorio. Si los datos no pueden reproducirse, probablemente haya un problema.

3. Hacer que otro laboratorio valide los hallazgos: A menudo, un laboratorio puede reproducir fácilmente sus propios datos porque todo se hace con los mismos reactivos y equipos. Antes de publicar los datos, se debe pedir a un colega que intente replicarlos para asegurarse de que puedan reproducirse en un entorno nuevo.

La encuesta preguntó a los científicos qué factores llevaban a problemas de reproducibilidad. Más del 60% de los encuestados dijo que dos factores —la presión por publicar y la presentación selectiva de resultados— siempre o con frecuencia contribuían a estos problemas. Más de la mitad señaló la insuficiente replicación en el laboratorio, la falta de supervisión adecuada o el bajo poder estadístico como causas principales. Una proporción menor apuntó a obstáculos como la variabilidad en los reactivos o el uso de técnicas especializadas que son difíciles de repetir.

Pero todos estos factores se ven agravados por fuerzas comunes, dice Judith Kimble, bióloga del desarrollo en la Universidad de Wisconsin–Madison: la competencia por subvenciones y posiciones, y la creciente carga burocrática que resta tiempo a la realización y diseño de investigaciones. "Hoy en día todos están más estirados", comenta. Y el costo va más allá de cualquier proyecto de investigación en particular. Si los estudiantes de posgrado se forman en laboratorios donde los miembros sénior tienen poco tiempo para los jóvenes investigadores, es posible que luego establezcan sus propios laboratorios sin contar con un modelo adecuado de cómo deberían funcionar la formación y la mentoría. "Se irán y lo empeorarán", advierte Kimble.