Uma grande proporção dos resultados empíricos publicados em revistas científicas não é replicável, o que significa que, se os estudos que deram origem a esses resultados fossem repetidos em condições semelhantes, esses mesmos resultados provavelmente não seriam observados. Isto é problemático.
de Salvador Pitta Gouveia
Quando a ciência e a verdade se desencontram
Sabia que a memória funciona nas duas direções? Isto é, em determinadas situações, não só nos conseguimos lembrar do que aconteceu no passado, como também do que vai acontecer no futuro. Não acredita? Aqui está o estudo.
Sabia que se for exposto a termos relacionados com sucesso (como ‘atingir’, ‘ganhar’, ou ‘alcançar’) antes de executar um exercício intelectual exigente, é mais provável que tenha sucesso na execução desse mesmo exercício? Parece improvável? Talvez, mas há estudos que suportam esta hipótese.
Sabia também que a vacina contra o sarampo e a rubéola causa autismo? Este resultado talvez seja mais célebre, e pode também ser consultado por quem quiser (embora tenha sido retirado da revista em que foi originalmente publicado).
Estes e outros estudos têm em comum o facto de terem sido publicados em reputadas revistas científicas. Têm também em comum o facto de terem sido citados centenas ou milhares de vezes. E, por fim, têm em comum o facto de serem falsos. E não são casos únicos. Pelo contrário, fala-se numa possível ‘crise da replicabilidade’ em áreas como a psicologia, as ciências sociais, ou as ciências biomédicas.
Isto é, uma grande proporção dos resultados empíricos publicados em revistas científicas não é replicável, o que significa que, se os estudos que deram origem a esses resultados fossem repetidos em condições semelhantes, esses mesmos resultados provavelmente não seriam observados. Isto é problemático. A ciência procura regularidades, tenta descobrir mecanismos estáveis passíveis de serem previstos e, eventualmente, manipulados e controlados. Como escreveu o mais célebre filósofo da ciência, Karl Popper, ‘ocorrências singulares não-replicáveis não têm significado em ciência’ [tradução livre]. Se muitos dos resultados publicados em ciência são, afinal, tais ocorrências singulares não-replicáveis, então a comunidade científica e a sociedade em geral poderão ter motivos para estarem preocupadas. Mas, afinal, o que está por trás deste fenómeno?
A perspetiva filosófica
Uma das sugestões é a de que a crise da replicabilidade não é, afinal, crise nenhuma. Em ciência, nenhum estudo é suficiente para ter certezas sobre determinado fenómeno, natural ou social. A ciência faz-se de aproximações, suposições, e estimativas, e, às vezes, essas estimativas formam um retrato muito pouco correto da realidade. No entanto, esta resposta não é satisfatória, uma vez que não explica o facto de as taxas de replicabilidade em ciência serem por vezes tão baixas. Há mais por trás da crise da replicabilidade para além da incerteza inerente ao conhecimento científico.
Mas se a culpa não é do acaso, de quem é? E porque não tentam os cientistas confirmar que os resultados a que chegaram são de facto replicáveis antes de os publicarem e os tornarem acessíveis à comunidade científica? Aqui o problema torna-se especialmente desconcertante, visto que se trata de ciência. Não são os cientistas apaixonados pela verdade, obcecadamente dedicados a distinguir a realidade dos mitos, desapaixonados promotores do conhecimento? Como pode esta imagem ser compatível com o facto de tantos cientistas publicarem tantos resultados que estão, afinal, errados?
Na tentativa de dar uma resposta (ainda que parcial) a estas perguntas, é esclarecedor recorrer à epistemologia social da ciência – isto é, a área da filosofia que estuda de que forma é que a maneira como os cientistas se organizam e comunicam entre si afeta o conhecimento por eles produzido. Seguindo esta abordagem, a resposta às perguntas acima está em perceber que esta imagem do cientista como indefetível agente da verdade é enganadora. Para perceber porquê, é preciso ver que a ciência contemporânea não é apenas uma atividade para os desinteressados amantes do conhecimento. É antes uma estrutura social, governada por um sistema de incentivos e normas de atuação específicos.
A economia ensina-nos que é fundamental saber a que incentivos é que os agentes económicos estão sujeitos para compreender as suas decisões. O mesmo se passa em ciência – não é possível ter uma imagem completa de como funciona a ciência sem percebermos que incentivos movem os cientistas. E estudando estes incentivos, começamos a perceber como podem várias disciplinas científicas estar mergulhadas numa crise de replicabilidade. Em particular, realço dois aspetos.
O primeiro é o de que a ciência contemporânea é aquilo a que podemos chamar uma ‘economia de crédito’. Isto é, os cientistas procuram maximizar o crédito/reconhecimento/prestígio que lhes é atribuído. Sem crédito, os cientistas facilmente atingem a estagnação de carreira, ou veem-se mesmo obrigados a abandonar a ciência por falta de financiamento. Este crédito é, por sua vez, realizado maioritariamente sob a forma de publicações em revistas científicas. Um cientista que queira um percurso de relativo sucesso tem, portanto, de publicar regularmente, e de preferência em revistas científicas reputadas, de forma a ganhar prestígio e avançar na carreira.
O segundo aspeto é o de que publicar um artigo não é uma tarefa fácil. As revistas científicas, e a ciência em geral, não consideram qualquer tipo de resultado científico digno de interesse. Pelo contrário, procuram resultados novos, surpreendentes, que não tenham sido já descobertos. Para além disso, tendem a procurar resultados positivos (ou afirmativos) – ou seja, resultados que reportam a existência de uma relação entre duas variáveis ou fenómenos. Um artigo que conclua com o resultado positivo de que as vacinas causam autismo é publicável pela sua novidade. Um artigo que, pelo contrário, conclua com o resultado negativo de que não há relação entre vacinas e autismo (na ausência de uma controvérsia preexistente) não será publicado. Há, portanto, uma procura pelo original e surpreendente.
Assim, começamos a perceber de que forma é que a estrutura de incentivos na ciência pode dar origem a uma crise de replicabilidade. Se um cientista avança na carreira não necessariamente por revelar a verdade científica de determinado fenómeno natural ou social, mas por conseguir publicar resultados originais e surpreendentes, então está montado um sistema que incentiva a que os cientistas fabriquem resultados publicáveis, não necessariamente replicáveis. Por outras palavras, está montado um sistema em que a fraude pode valer a pena. O artigo fraudulento que indica uma relação entre vacinas e autismo é um perfeito exemplo disso, tendo atingido milhares de citações e uma publicação na prestigiada revista científica The Lancet.
Neste caso, a fraude acabou por ser descoberta e o investigador principal excomungado da comunidade científica, perdendo todo o seu prestígio. Mas este processo demorou o seu tempo e causou danos, tanto na comunidade científica, como na sociedade em geral. De qualquer modo, casos de fraude descarada não serão tão comuns assim. No entanto, entre fraude descarada e rigor metodológico irrepreensível, há toda uma zona cinzenta que pode ser explorada (de maneira mais ou menos consciente) pelos cientistas de forma a chegar a resultados que tenham maiores probabilidades de serem publicados – e talvez seja esta zona cinzenta, a zona das chamadas ‘Questionable Research Practices’ (ou ‘Práticas de investigação Questionáveis’), que está na origem de grande parte dos resultados não-replicáveis.
Mas porventura o mais preocupante deste sistema de incentivos é que ele é capaz de produzir ciência não-replicável mesmo quando esta deriva de métodos perfeitamente rigorosos. Afinal, os métodos estatísticos frequentemente usados em ciência, por mais rigorosos que sejam, não são infalíveis. Um sistema de publicação que rejeita artigos em função do tipo de conclusão a que eles chegam (positivo ou negativo, surpreendente ou expectável) está predisposto a enviesar a massa de conhecimento partilhada em ciência. Suponhamos que o nosso método para averiguar se as vacinas causam autismo é perfeitamente rigoroso, mas que, devido às incertezas inerentes à estatística, falha com 1% de probabilidade, caso no qual o nosso método acusa uma relação positiva entre a toma de vacinas e autismo. Suponhamos também que há uma série de cientistas – digamos, 100 – a trabalhar independentemente uns dos outros nesta questão.
A probabilidade de haver pelo menos um deles a descobrir uma relação positiva entre vacinas e autismo é de, aproximadamente, 63%, embora individualmente a probabilidade de um cientista chegar ao resultado errado seja de apenas 1%. Isto não seria grave num sistema que publicasse resultados científicos independentemente do tipo de resultados obtido – afinal, haveria muitos mais resultados negativos do que positivos. Mas num sistema em que apenas são publicados resultados positivos e surpreendentes, só o resultado erróneo – o de que as vacinas de facto causam autismo – poderá vir a ser publicado. Mais ainda, não há incentivos para replicar tais estudos uma vez que as replicações são tradicionalmente rejeitadas por não serem originais, mesmo quando contradizem os resultados dos estudos que estão a reproduzir.
Há esperança
É importante realçar que nem tudo está errado no presente sistema de incentivos da ciência. Alguns filósofos da ciência defendem que um sistema que recompensa a originalidade promove uma divisão do trabalho investigativo eficiente ao nível do progresso científico. Para além disso, a economia ensina-nos também que modificações a sistemas de incentivos, por mais bem-intencionadas que sejam, podem ter resultados perversos que apenas pioram a situação.
Uma alteração à forma como a ciência se organiza de forma a mitigar situações de baixa replicabilidade deve, portanto, considerar as consequências de tal alteração a nível global – uma tarefa altamente complexa. Finalmente, é importante realçar que a ciência tem à sua disposição mecanismos de autovigilância e autocorreção relativamente promissores.
Nos últimos anos, por exemplo, tem havido um movimento forte para tornar a ciência mais aberta, mais transparente, e, assim, menos propensa a produzir resultados não-replicáveis. Se é verdade que não há boas intenções que resistam a um sistema de incentivos perverso, também é verdade que a comunidade científica tem meios para se autorregular e mudar esse sistema por dentro. Esperemos que não desperdice a oportunidade.
Comments