Quando a ciência é falha

Corra, cientista! Os zumbis estão à solta...
Estudos com graves falhas ameaçam a credibilidade da ciência
Bruno Gualano/Folha de S. Paulo

Que me perdoem os positivistas de carteirinha, mas me parece um tanto ingênuo crer na infalibilidade da ciência. Isso porque ela é feita de gente como a gente, caro leitor. Uma atividade humana até os ossos, com todos os seus fulgores e deslizes que a definem em cada esfera da vida. Mas vocês já pararam para pensar quanto do que se produz na Ciência é tão ruim que deveria ir direto para a lata de lixo?

Um editorial da Nature cavucou a lixeira para nos trazer algumas respostas.

Os achados chocam: ao menos 1 em 4 ensaios clínicos contém indícios de falha ou fraude. Um levantamento emblemático é o de John Carlisle, editor do periódico científico Anaesthesia, que ao longo de três anos escrutinou mais de 500 estudos clínicos randomizados –o suprassumo da Ciência em termos metodológicos– submetidos à avaliação por pares de seu jornal.

Do total, 44% apresentavam um ou mais equívocos: análises matemáticas inverossímeis, cálculos absurdos, gráficos duplicados etc. Mais de um quarto continha erros tão esdrúxulos que tornavam os trabalhos indignos de qualquer confiança, na avaliação de Carlisle. Ele apelidou esses estudos de zumbis.

Como nos filmes de terror nos quais o morto-vivo mirado de longe se parece com gente real, o estudo zumbi engana à primeira vista, se passando por pesquisa séria.

E os fãs do gênero sabem bem que nunca é fácil abater um zumbi que se preza. Sem acesso aos "dados brutos" de cada um dos participantes da pesquisa –algo que não costuma ser publicado nos artigos–, Carlisle pôde identificar falhas graves em apenas 1% dos estudos analisados. Apenas quando os autores disponibilizaram seus bancos de dados a pedido do editor é que os erros saltaram aos olhos.

Estudos publicados com erros crassos e falcatruas trazem repercussões nefastas.

Primeiro por contaminarem a literatura. As chamadas meta-análises –sínteses sobre um determinado assunto a fim de subsidiar políticas públicas e intervenções baseadas em evidência– analisam, matematicamente, o conjunto dos artigos disponíveis. E se uma maçã podre existe na cesta, podre toda ela estará. Durante a pandemia, desavisados e desonestos propagandearam a eficácia da ivermectina no tratamento da Covid-19 com base em uma "meta-análise em tempo real", que ao incluir na avaliação estudos de péssima qualidade, chegou a falsas conclusões, como só poderia ser.

Sob a não menos relevante ótica sociológica, estudos zumbis também têm o efeito danoso de minar a confiança das pessoas na Ciência, cedendo terreno a narrativas negacionistas e teorias da conspiração.

Ante a encrenca, Carlisle sugere que os jornais científicos considerem todos os artigos que recebem como falhos, até que se prove o oposto. E que os dados de cada participante de ensaios clínicos sejam revisados um a um.

Nada disso é fácil. Editoria científica hoje é business. De um lado, temos um crescente número de revistas pseudocientíficas (as chamadas predatórias) ávidas por publicar artigos –sem nenhum crivo técnico– em troca de um bom punhado de dólares. De outro, há os cientistas aprisionados na cultura do "publique ou pereça", sempre dispostos a atender à demanda dessa indústria editorial. Nesse cenário ricamente descrito por Herton Escobar em reportagem para o Jornal da USP, garantir a curadoria dos milhões de artigos anualmente submetidos à publicação torna-se uma tarefa de complexidade comparável a despoluir um volumoso rio que recebe dejetos diuturnamente.

Uma emenda possível é impedir que zumbis perambulem por aí impunes. Artigos com erros por má conduta ou má-fé devem ser corrigidos ou "despublicados", no que consiste um sistema de autocorreção que rende credibilidade à Ciência. Mas por um misto de complacência e corporativismo de pesquisadores, editores e gestores universitários, essa medida paliativa, geralmente, tarda ou falha.

As imperfeições da Ciência a humanizam, mas não devem ser romantizadas. Afinal, o prestígio social de que ela goza advém de sua reconhecida habilidade de prever e explicar os fenômenos.

Não deixa de ser irônico que após tanto rechaçar o sobrenatural, os cientistas tenhamos de lidar com ameaças zumbis.

[Ilustração: Julia Jabur/Instituto Serrapilheira/FSP]

O mundo em roda-viva https://tinyurl.com/35yp9kjm