Traduzo abaixo no texto do Wall Street Journal.
O bando de desmistificadores destruindo maus cientistas
O presidente de Stanford e um físico renomado estão entre os que foram derrubados por uma onda crescente de voluntários que expõem artigos de pesquisa defeituosos ou fraudulentos.
Um premiado professor e pesquisador da Harvard Business School passou anos explorando os motivos pelos quais as pessoas mentem e trapaceiam. Um trio de cientistas comportamentais que examinaram alguns de seus trabalhos acadêmicos concluiu que suas próprias descobertas foram extraídas de dados falsificados.
Foi uma ataque rotineiro dos três cientistas – Joe Simmons, Leif Nelson e Uri Simonsohn – que ganharam renome acadêmico por desmascarar estudos publicados baseados em dados defeituosos ou fraudulentos. Eles usam dicas, análise de números e instintos para descobrir o engano. Ao longo da última década, chegaram à sua própria conclusão: os números não mentem, mas as pessoas sim.
“Uma vez que você vê o padrão em muitos artigos diferentes, torna-se uma chance em quatrilhão de haver alguma explicação benigna”, disse Simmons, professor da Wharton School da Universidade da Pensilvânia e membro do trio que relata seu trabalho. em um blog chamado Data Colada.
Simmons e os seus dois colegas estão entre um número crescente de cientistas em diversas áreas em todo o mundo que trabalham como detetives de dados, examinando estudos publicados em revistas acadêmicas em busca de evidências de fraude.
Pelo menos 5.500 documentos defeituosos foram retirados em 2022, em comparação com 119 em 2002, de acordo com o Retraction Watch, um site que mantém um registro. O salto reflete em grande parte o trabalho investigativo dos cientistas do Data Colada e de muitos outros voluntários acadêmicos, disse o Dr. Ivan Oransky, cofundador do site. Suas descobertas levaram a retratações embaraçosas, carreiras derrubadas e ações judiciais retaliatórias.
O neurocientista Marc Tessier-Lavigne deixou o cargo de presidente da Universidade de Stanford no mês passado, após anos de críticas sobre os dados de seus estudos publicados. Postagens no PubPeer, um site onde cientistas dissecam estudos publicados, desencadearam o escrutínio do Stanford Daily. Seguiu-se uma investigação universitária e três estudos que ele co-escreveu foram retirados.
Stanford concluiu que, embora Tessier-Lavigne não se envolvesse pessoalmente em má conduta de pesquisa ou soubesse da má conduta de outros, ele “não conseguiu corrigir de forma decisiva e direta os erros no registro científico”. Tessier-Lavigne, que permanece no corpo docente, não quis comentar.
A busca por estudos enganosos é mais do que acadêmica. Pesquisas deficientes em ciências sociais podem levar a decisões corporativas erradas sobre o comportamento do consumidor ou a regras e políticas governamentais equivocadas. Pesquisas médicas errôneas podem causar danos aos pacientes. Pesquisadores de todas as áreas podem desperdiçar anos e milhões de dólares em doações tentando promover descobertas que se revelam fraudulentas.
Os detetives de dados esperam que o seu trabalho mantenha a ciência honesta, numa altura em que a fé do público na ciência está a diminuir. A pressão para publicar artigos – que podem render empregos, bolsas, palestras e assentos em conselhos consultivos corporativos – leva os investigadores a perseguir descobertas únicas e interessantes, por vezes à custa da verdade, de acordo com Simmons e outros.
“Fico louco com essa ciência lenta, boa e cuidadosa – se você fizer essas coisas, se fizer ciência dessa maneira, significa que publicará menos”, disse Simmons. “Obviamente, se você falsificar seus dados, poderá fazer qualquer coisa funcionar.”
A revista Nature alertou este mês os leitores para questões levantadas sobre um artigo sobre a descoberta de um supercondutor à temperatura ambiente – uma descoberta científica profunda e de longo alcance, se for verdade. Os físicos que examinaram o trabalho disseram que os dados não batiam. O físico da Universidade de Rochester, Ranga Dias, que liderou a pesquisa, não respondeu a um pedido de comentário, mas defendeu seu trabalho. Outro artigo que ele co-escreveu foi retirado em agosto, depois que uma investigação sugeriu que algumas medições haviam sido fabricadas ou falsificadas. Um artigo anterior de Dias foi retirado no ano passado. A universidade está analisando mais de perto seu trabalho.
Os especialistas que examinam dados suspeitos em estudos publicados consideram cada retratação ou correção de um artigo defeituoso como uma vitória para a integridade científica e a transparência. “Se você pensa em derrubar um muro, você vai tijolo por tijolo”, disse Ben Mol, médico e pesquisador da Universidade Monash, na Austrália. Ele investiga ensaios clínicos em obstetrícia e ginecologia. Seus alertas levaram os periódicos a retirarem cerca de 100 artigos, com investigações em andamento em cerca de 70 outros.
Entre aqueles que analisam o trabalho de outros cientistas estão Elisabeth Bik, uma ex-microbiologista especializada em detectar fotografias manipuladas em experimentos de biologia molecular, e Jennifer Byrne, pesquisadora de câncer na Universidade de Sydney que ajudou a desenvolver software para rastrear artigos em busca de sequências de DNA defeituosas que indicaria que os experimentos não poderiam ter funcionado.
“Se você tirar os detetives da equação”, disse Oransky, “é muito difícil ver como a maioria dessas retratações teria acontecido”.
Treinamento por acidente
As origens do Data Colada remontam à Universidade de Princeton em 1999. Simmons e Nelson, colegas estudantes de pós-graduação, tocavam em uma banda cover chamada Gibson 5000 e em um time de softball chamado Psychoplasmatics. Nelson e Simonsohn se conheceram em 2007, quando eram professores da escola de negócios da Universidade da Califórnia, em San Diego.
O trio tornou-se amigo e, em 2011, publicou seu primeiro artigo conjunto, “False-Positive Psychology". Incluía um experimento satírico que usava métodos de pesquisa aceitos para demonstrar que as pessoas que ouviam a música “When I’m Sixty-Four” dos Beatles ficavam mais jovens. Eles queriam mostrar como os padrões de pesquisa poderiam acomodar descobertas absurdas. “Eles são lendários por isso”, disse Yoel Inbar, psicólogo da Universidade de Toronto Scarborough. O estudo se tornou o artigo mais citado na revista Psychological Science.
Quando o trio lançou o Data Colada em 2013, ele se tornou um site para divulgar ideias sobre os benefícios e as armadilhas das ferramentas estatísticas e da análise de dados. “O objetivo era conseguir alguns leitores e não nos envergonharmos”, disse Simmons. Com o tempo, ele disse: “Nós acidentalmente nos treinamos para ver fraudes”.
Eles co-escreveram um artigo publicado em 2014 que cunhou o agora comum termo acadêmico “p-hacking”, que descreve a seleção seletiva de dados ou análises para fazer com que resultados insignificantes pareçam estatisticamente confiáveis. Os seus primeiros trabalhos contribuíram para uma mudança nos métodos de investigação, incluindo a prática de partilha de dados para que outros cientistas possam tentar replicar o trabalho publicado.
“Os três fizeram um trabalho fantástico no desenvolvimento de novas metodologias para questionar a credibilidade da investigação”, disse Brian Nosek, diretor executivo do Center for Open Science, uma organização sem fins lucrativos com sede em Charlottesville, Virgínia, que defende investigação fiável.
Nelson, que leciona na Haas School of Business da Universidade da Califórnia, em Berkeley, é descrito por seus sócios como o cara do panorama geral, capaz de se afastar do mato e ver uma perspectiva ampla.
Simonsohn é o gênio técnico, familiarizado com técnicas estatísticas opacas. “É nada menos que uma superpotência”, disse Nelson. Simonsohn foi o primeiro a aprender como identificar as impressões digitais de fraudes em conjuntos de dados.
Trabalhar em conjunto, disse Simonsohn, “é como ter um computador com três processadores principais trabalhando em paralelo”.
Os homens primeiro analisam os dados para ver se fazem sentido no contexto da pesquisa. O primeiro estudo que Simonsohn examinou em busca de dados incorretos no blog era óbvio. Foi pedido aos participantes que avaliassem uma experiência numa escala de zero a 10, mas o conjunto de dados inexplicavelmente apresentava números negativos.
Outra bandeira vermelha é uma afirmação improvável – digamos, um estudo que dizia que um corredor poderia correr 100 metros em meio segundo. Tais descobertas sempre recebem uma segunda olhada. “Você sabe imediatamente, de jeito nenhum”, disse Simonsohn, que leciona na Esade Business School em Barcelona, Espanha. Outro sinal revelador são os dados perfeitos em pequenos conjuntos de dados. Os dados do mundo real são caóticos e aleatórios.
Qualquer um deles pode desencadear um exame dos dados subjacentes de um artigo. “É apenas um erro inocente? É p-hacking?” Simmons disse. “Nunca nos apressamos em dizer fraude.”
Para acompanhar seu blog e outros empreendimentos, o trio envia mensagens de texto quase diariamente em um bate-papo em grupo, se reúne no Zoom uma vez por semana e envia e-mails constantemente.
O telefone de Simonsohn tocou em agosto, enquanto ele estava de férias com a família nas montanhas da Espanha. Simmons e Nelson deram a notícia de que estavam sendo processados por difamação em um processo de US$ 25 milhões.
“Fiquei completamente pasmo e apavorado”, disse Nelson.
‘Ela geralmente está certa’
Os dados incorrectos passam despercebidos nas revistas académicas, em grande parte porque as publicações dependem de especialistas voluntários para garantir a qualidade do trabalho publicado e não para detectar fraudes. Os periódicos não têm experiência ou pessoal para examinar os dados subjacentes em busca de erros ou manipulação deliberada, disse Holden Thorp, editor-chefe da família de periódicos Science.
Thorp disse que conversa com Bik e outros desmistificadores, observando que as universidades e outros editores de periódicos deveriam fazer o mesmo. “Ninguém gosta de ouvir falar dela”, disse ele. “Mas ela geralmente está certa.”
Os detetives de dados pressionaram os periódicos a prestarem mais atenção à correção dos registros, disse ele. A maioria contratou pessoas para revisar alegações de dados incorretos. A Springer Nature, que publica a Nature e cerca de 3.000 outras revistas, tem uma equipe de 20 pesquisadores, disse Chris Graf, diretor de integridade de pesquisa da empresa, o dobro de quando assumiu em 2021.
A Retraction Watch, que em conjunto com a organização de investigação Crossref mantém um registo de cerca de 50.000 artigos desacreditados ao longo do século passado, estimou que, em 2022, cerca de oito artigos foram retratados para cada 10.000 estudos publicados.
Bik e outros disseram que pode levar meses ou anos para que os periódicos resolvam reclamações sobre estudos suspeitos. Dos quase 800 artigos que Bik reportou a 40 revistas em 2014 e 2015 por veicularem imagens enganosas, apenas um terço foi corrigido ou retratado cinco anos depois, disse ela.
O trabalho não é isento de riscos. O especialista francês em doenças infecciosas Didier Raoult ameaçou processar Bik depois que ela denunciou supostos erros em dezenas de artigos que ele co-escreveu, incluindo um que apregoava os benefícios da hidroxicloroquina no tratamento da Covid-19. Raoult disse que manteve sua pesquisa.
Trabalho honesto
Simonsohn recebeu uma dica em 2021 sobre os dados usados em artigos publicados pela professora da Harvard Business School, Francesca Gino. Seus estudos conceituados exploraram questões morais: Por que algumas pessoas mentem? Que recompensa leva os outros a trapacear? Que fatores influenciam o comportamento moral?
Os três cientistas examinaram os dados subjacentes a quatro estudos e identificaram o que consideraram irregularidades na forma como algumas entradas apareciam. Os números nos conjuntos de dados parecem ter sido alterados manualmente. Em dezembro de 2021, enviaram as suas descobertas para Harvard, que conduziu a sua própria investigação.
Harvard concluiu que Gino era “responsável por ‘má conduta em pesquisa’”, de acordo com seu processo contra Harvard, Nelson, Simmons e Simonsohn. A Harvard Business School pediu aos periódicos que publicaram os quatro artigos que os retratassem, dizendo que seus resultados eram inválidos.
Em junho deste ano, o trio publicou suas conclusões sobre os estudos de Gino no Data Colada. Os dados de quatro jornais, disseram eles, foram falsificados. Quando restauraram o que supunham ser informação correta num dos quatro estudos, os resultados não apoiaram as conclusões do estudo. As postagens causaram alvoroço na comunidade das ciências sociais.
Gino está em licença administrativa e a escola iniciou o processo de revogação de seu mandato. Em seu processo, Gino disse que a investigação de Harvard era falha e tendenciosa contra ela por causa de seu gênero. Um porta-voz da escola de negócios não quis comentar. O processo também afirma que as postagens do blog Data Colada a acusaram falsamente de fraude. Os três cientistas disseram que mantiveram as descobertas publicadas.
Gino, por meio de seu advogado, negou qualquer irregularidade. Ela está pedindo pelo menos US$ 25 milhões por danos. “Discordamos veementemente de qualquer sugestão do uso da palavra fraude”, disse o advogado de Gino, Andrew Miltenberg. Gino não quis comentar.
Miltenberg disse que Gino estava trabalhando para refutar as conclusões de Data Colada.
Em agosto, um grupo de 13 cientistas organizou uma arrecadação de fundos que, em um mês, arrecadou mais de US$ 300 mil para ajudar a custear os custos legais da Data Colada.
“Essas pessoas estão enviando um sinal muito caro”, disse Simmons. “Eles estão pagando literalmente dólares para dizer, ‘Sim, a crítica científica é importante’”.
Nenhum comentário:
Postar um comentário