Los Hijos del Protocolo y la Reproducibilidad Experimental

Al hacer ciencia todo debe quedar reflejado en el cuaderno de laboratorio. Al preparar una pócima (literal o metafóricamente hablando) debe quedar debidamente registrado cada ingrediente, su procedencia, el orden en que lo añades, el tiempo de cocción, la temperatura y las palabras mágicas exactas. La detallada receta, si funciona en su cometido, se convertirá en Protocolo y se erigirá inevitable y sagrada hoja de ruta que asegurará que tú u otra persona pueda repetir tamaño elixir (o resultado experimental) cuantas veces quiera en cualquier lugar y en cualquier momento… y serás feliz y comerás perdices… pero solo en teoría como si de un puñetero cuento se tratase. 

Protocolo devorando a sus Hijos (aquí sin coña)

La realidad es bien distinta cuando te enfrentas a los desafíos de la química de la vida, el cuento de hechizos se convierte en una pesadilla con más niveles que el infierno de Dante. 

En años vagabundeando por el país de la bioquímica y la biología molecular (apunto esto aquí para restringir claramente mi área de entendimiento no sea que allende estos lares alguno me acuse de calumnias) he visto cosas que no creeríais.

He visto cosas de chiste. Como pasos incluidos en diferentes protocolos que van desde el budú hasta la chiripa, pasando por la falta de razonamiento del “porque es tradición”. He visto arcanos protocolos de días de duración que pensando un poco y usando los nuevos materiales, ya comunes en los laboratorios actuales, se pueden acortar a horas, funcionando igual o mejor, pero solo algún valiente se atreve a cambiar. He visto algunos pasos de un protocolo para hacer algo concreto, considerados de vital importancia en el laboratorio A,  los cuales se pasan por el forro con alegría torera en el laboratorio B y el experimento en cuestión sigue funcionando tan bien o tan mal como en laboratorio A. He visto surgir de mentes confusas de doctorandos primerizos embobaos errores garrafales que sin explicación coherente alguna consiguen hacer algo que ningún cambio racional en el protocolo había conseguido hasta el momento.

También he visto cosas más serias. Como protocolos infalibles fallar en su cometido en unas manos (no especialmente incompetentes), y a la vez con los mismos materiales de partida y al mismo tiempo y el mismo objetivo, ser brillantes en otras manos situadas en la misma bancada, metro a la izquierda. He visto cómo invertir por error el orden en que ejecutas dos pasos consecutivos de un protocolo tiene resultados tan positivos en tu experimento que jamás los vuelves a hacer al derecho. He visto cómo de repente, protocolos que funcionan chachi piruli juan pelotilla, dejaban de funcionar por arte de birlibirloque para luego volver a funcionar, mucho tiempo después, con un mínimo cambio en su receta después de haberlo intentado todo. He visto respuestas diferentes al mismo tratamiento en dos líneas celulares que se supone que son clones prácticamente idénticos.  He visto procedimientos experimentales publicados en revistas de alto impacto que repetidos al dedillo según la receta allí presente no funcionan ni a tiros. He visto... 

Y esto amigos, tiene varias implicaciones de diversa importancia y alcance que ya llevaba queriendo escribir aquí desde que hace unos meses como bonus de aquel post de la PaCiencia y por las reflexiones que me han surgido desde que me fueron encomendados algunos desdichados estudiantes.

Por un lado todo lo anterior, que no es sólo observación del menda, sirve para alimentar acalorados debates con estudiantes, algunos doctorandos y algún que otro técnico que defenderán cada paso de sus protocolos a capa y espada como el mejor de los mejores contra cualquier otro, con la fe ciega (casi siempre sin saber porqué) que les ha inculcado la euforia, la falta de experiencia o el haber trabajado siempre en el mismo sitio respectivamente.

Por otro lado también llevará a discutir con tus compañeros la manera de enseñar los diferentes procedimientos a los nuevos estudiantes. Mientras unos parece que abogan por enseñarlos como si de fórmulas sagradas se tratase (rozando la paranoia si no se hace cada movimiento al micrómetro y cada incubación al microsegundo). Otros (casi siempre mercenarios) preferimos enseñarlos mientras contamos nuestra experiencia: Siempre hay un rango de aplicación de las cosas y conocer ese rango te hace más versátil y normalmente más eficiente. Siempre tratando de dejar claro hay ciertos pasos en un protocolo cuyo estricto seguimiento es necesario por motivos experimentales y de seguridad (explicando las razones) y otros en los que se puede ser un poco más laxo (también detallando razones siempre) sin que ello afecte a al funcionamiento de ese protocolo hasta donde han alcanzado a ver nuestros ojos y años de trabajo.

Sin embargo, la vertiente más grave de esto es la falta de reproducibilidad experimental a nivel de la comunidad científica, que hacer perder una gran cantidad de tiempo y dinero a los científicos. Un problema serio de la ciencia que el otro día comentaba con @ScientiaJMLN y que dio la puntilla para escribir este post. El apuntaba en twitter algo así como que el mero hecho de saber los ingredientes (leídos en un artículo) no garantiza siempre poder repetir el resultado y que en muchos casos la forma de mezclarlos es la clave. Cosa que suscribo y que además yo aún llevaría más lejos. 

Por un lado tenemos que las puestas a punto de un mismo protocolo (de lo que son reflejo las jocosas visiones que os he resumido ahí arriba) suelen variar, aunque sea un poco, de laboratorio a laboratorio por motivos de material, observacionales, formación o también a veces por creencias irracionales o manías acumuladas durante los años. Ello puede ser una de las fuentes de la falta de reproducibilidad experimental de la que estamos hablando, cuya solución es compleja ya que todos intentamos hacer funcionar las cosos en nuestro entorno inmediato.

Sin embargo, cuando se trabaja con proteínas o células vivas ya no es que tengas que saber los ingredientes y el orden, es que a veces no te vale ni el apuntador más detallista para reproducir los resultados en tu laboratorio. Pero ojo, esto no significa que los otros estén mintiendo, o tergiversando la verdad (aunque haya lamentablemente  abundantes ejemplos de embusteros premeditados en ciencia). 

Simplemente, trabajamos con materiales y procesos tan complejos a tantos niveles que es imposible describirlo todo, todo y todo. Y a veces, en uno de esos pequeñísimos detalles que se obvian o se desconocen y no se incluyen en el protocolo (como muestra un botón), se encuentra la clave de porqué no puede reproducirse el magnífico resultado.

Otras veces ocurren errores sistemáticos porque los científicos somos personas. Y el protocolo puede estar bien pero tú estás metiendo la pata, no ya en un paso del protocolo, sino en cómo estás disolviendo uno de los reactivos antes de empezar el protocolo para el experimento de “putear a las células”. Por ejemplo, puede ser que ese reactivo se disuelva como lo estás haciendo tu el 99% de las veces, pero resulta que si lo haces de esa manera (y no de la manera alternativa que se usa el 1% de las veces y que tu desconoces), cambia la acidez y cuando lo aplicas a tus células estas palman antes de hora o te sale el resultado de tu vida y piensas en publicar en Nature.

 

También puede pasar lo que yo llamo efecto “Plane Crash”: una acumulación inverosímil de casualidades en tu modus operandi a la hora de efectuar un protocolo que hacen que el experimento funcione cuando no debería funcionar o que no funcione cuando debería hacerlo (que es lo más probable).  

Dejando a un lado las mentiras premeditadas, debe haber un millar de errores tipo y fórmulas secretas que describen detalladamente las causas de la falta de reproducibilidad experimental intra y extralaboratolil. Pero seguramente existen otro millón más que desconocemos por el mero hecho de la complejidad subyacente en la materia que tratamos día a día.

Seguir metodología científica haciendo réplicas experimentales, repeticiones del mismo experimento varias veces en días diferentes y utilizar SIEMPRE los controles adecuados (indicadores de si el proceso funciona correctamente o no) ayuda mucho a reducir los problemas de reproducibilidad. Sin embargo, no son la panacea. Pensadlo bien, si alguien, aplicando un protocolo, repite errores tipo o recetas secretas como los comentados arriba sistemáticamente con un resultado positivo (aunque es poco probable con los controles adecuados) este podré ser publicado. Y tú, si no te sabes el truco o ves la luz, andarás perdido una temporada repitiendo una y otra vez pócimas fallidas.

Para finalizar solo un apunte. No penséis que está todo perdido. Tened en cuenta que cuando las investigaciones se publican, el trabajo que contienen no se basa solo en un experimento basado en un protocolo. Más bien recogen un conjunto de experimentos diferentes hechos con protocolos diferentes cuyos hallazgos son consistentes los unos con los otros y apuntan en una dirección determinada que será confirmada o no por trabajos independientes. El hecho de que uno de los experimentos en un trabajo sea irreproducible a posteriori puede suponer un problema, cuyo tamaño será proporcional la importancia y peso de ese experimento en dicho trabajo. Si tiene poco peso en la conclusiones obtenidas, será un mal menor.  Si es un experimento troncal en el que se basan los principales resultados, será un desastre.