Novo relatório examina reprodutibilidade e replicabilidade na ciência

Enquanto a reprodutibilidade computacional na pesquisa científica é geralmente esperada quando os dados e códigos originais estão disponíveis, a falta de capacidade de replicar um estudo anterior - ou obter resultados consistentes olhando para a mesma questão científica, mas com dados diferentes - é mais sutil e ocasionalmente pode ajudar o processo de descoberta científica, diz um novo relatório do Congresso, encomendado pelo Congresso Nacional de Ciências, Engenharia e Medicina. Reprodutibilidade e replicabilidade na ciência recomenda maneiras que pesquisadores, instituições acadêmicas, periódicos e financiadores devem ajudar a reforçar o rigor e transparência, a fim de melhorar a reprodutibilidade e replicabilidade da pesquisa científica.

Definindo Reprodutibilidade e Replicabilidade

Os termos "reprodutibilidade" e "replicabilidade" são frequentemente usados ​​de forma intercambiável, mas o relatório usa cada termo para se referir a um conceito separado. Reprodutibilidade significa obter resultados computacionais consistentes usando os mesmos dados de entrada, etapas computacionais, métodos, código e condições de análise. Replicabilidade significa obter resultados consistentes em todos os estudos que visam responder à mesma questão científica, cada um dos quais obteve seus próprios dados.

Pesquisas reprodutoras envolvem o uso de dados e códigos originais, enquanto a pesquisa replicativa envolve novos métodos de coleta de dados e similares usados ​​em estudos anteriores, diz o relatório. Mesmo quando um estudo foi rigorosamente conduzido de acordo com as melhores práticas , corretamente analisado e relatado de forma transparente, pode não ser replicado.

"Ser capaz de reproduzir os resultados computacionais de outro pesquisador, começando com os mesmos dados e replicando um estudo anterior para testar seus resultados, facilita a natureza autocorretiva da ciência e é frequentemente citado como marca registrada da boa ciência", disse Harvey Fineberg, presidente. da Fundação Gordon e Betty Moore e presidente do comitê que conduziu o estudo. "No entanto, fatores como falta de transparência na notificação, falta de treinamento apropriado e erros metodológicos podem impedir que os pesquisadores possam reproduzir ou replicar um estudo. Financiadores de pesquisa, periódicos, instituições acadêmicasos formuladores de políticas e os próprios cientistas têm um papel a desempenhar na melhoria da reprodutibilidade e replicabilidade, garantindo que os cientistas sigam os mais altos padrões de prática, compreendam e expressem a incerteza inerente às suas conclusões e continuem a fortalecer a rede interconectada de conhecimento científico - o principal motor do progresso no mundo moderno ".

Reprodutibilidade

A definição de reprodutibilidade do comitê enfoca a computação, porque a maioria das disciplinas de pesquisa científica e de engenharia usa a computação como uma ferramenta, e a abundância de dados e o amplo uso da computação transformaram muitas disciplinas. No entanto, esta revolução ainda não está uniformemente refletida em como os cientistas usam software e como os resultados científicos são publicados e compartilhados, diz o relatório. Esses déficits têm implicações para a reprodutibilidade, porque os cientistas que desejam reproduzir a pesquisa podem não ter as informações ou o treinamento que precisam para fazer isso.

Quando os resultados são produzidos por processos computacionais complexos usando grandes volumes de dados, a seção de métodos de um artigo científico é insuficiente para transmitir as informações necessárias para que outros reproduzam os resultados, diz o relatório. Informações adicionais relacionadas a dados, códigos, modelos e análise computacional são necessárias.

Se informações adicionais suficientes estiverem disponíveis e um segundo pesquisador seguir os métodos descritos pelo primeiro pesquisador, espera-se, em muitos casos, obter os mesmos valores numéricos exatos - ou reprodução bit a bit. Para algumas questões de pesquisa, a reprodução bit a bit pode não ser atingível e os resultados reprodutíveis podem ser obtidos dentro de uma faixa aceita de variação.

A base de evidências para determinar a prevalência de não reprodutibilidade em pesquisa é incompleta, e determinar a extensão de questões relacionadas à reprodutibilidade computacional em ou dentro dos campos da ciência seria um empreendimento massivo com baixa probabilidade de sucesso, constatou o comitê. No entanto, vários esforços sistemáticos para reproduzir resultados computacionais em vários campos falharam em mais da metade das tentativas feitas - principalmente devido a detalhes insuficientes em dados, código e fluxo de trabalho computacional.

Replicabilidade

Uma maneira importante de confirmar ou basear-se em resultados anteriores é seguir os mesmos métodos, obter novos dados e ver se os resultados são consistentes com o original. Uma replicação bem-sucedida não garante que os resultados científicos originais de um estudo estivessem corretos, no entanto, nem uma replicação fracassada refuta de forma conclusiva as alegações originais, diz o relatório.

A não replicabilidade pode surgir de várias fontes. O comitê classificou as fontes de não replicabilidade naquelas potencialmente úteis para obter conhecimento e naquelas que não ajudam.

Fontes potencialmente úteis de não replicabilidade incluem incertezas inerentes, mas não caracterizadas, no sistema em estudo. Essas fontes de não replicabilidade são uma parte normal do processo científico, devido à variação intrínseca ou complexidade na natureza, o escopo do conhecimento científico atual e os limites das tecnologias atuais. Nesses casos, uma falha na replicação pode levar à descoberta de novos fenômenos ou novos insights sobre a variabilidade no sistema em estudo.

Em outros casos, diz o relatório, a não replicabilidade se deve a deficiências no desenho, condução e comunicação de um estudo. Seja por falta de conhecimento, incentivos perversos, desleixo ou preconceito, essas fontes inúteis de não replicabilidade reduzem a eficiência do progresso científico.

Fontes inúteis de não replicabilidade podem ser minimizadas por meio de iniciativas e práticas destinadas a melhorar o design e a metodologia de pesquisa por meio de treinamento e orientação, repetindo experimentos antes da publicação, revisão por pares rigorosa, utilizando ferramentas para verificação de análises e resultados e melhor transparência nos relatórios. Esforços para minimizar fontes evitáveis ​​e inúteis de não replicabilidade garantem atenção continuada, diz o relatório.

Pesquisadores que conscientemente usam práticas de pesquisa questionáveis ​​com a intenção de enganar estão cometendo má conduta ou fraude. Na prática, pode ser difícil diferenciar entre erros honestos e má conduta deliberada, porque a ação subjacente pode ser a mesma enquanto a intenção não é. Má conduta científica na forma de deturpação e fraude é uma preocupação contínua para toda a ciência, apesar de ser responsável por uma porcentagem muito pequena de artigos científicos publicados, constatou o comitê.

Melhorando a Reprodutibilidade e Replicabilidade na Pesquisa

O relatório recomenda uma série de etapas que as partes interessadas na empresa de pesquisa devem adotar para melhorar a reprodutibilidade e a replicabilidade, incluindo:

. Todos os pesquisadores devem incluir uma descrição clara, específica e completa de como os resultados    relatados foram alcançados. Os relatórios devem incluir detalhes apropriados para o tipo de pesquisa,  como uma descrição clara de todos os métodos, instrumentos, materiais, procedimentos, medidas e outras  variáveis ​​envolvidas no estudo; uma descrição clara da análise de dados e decisões de exclusão de alguns    dados ou inclusão de outros; e discussão da incerteza das medições, resultados e inferências.

. As agências e organizações de financiamento devem considerar investir em pesquisa e desenvolvimento de   ferramentas e infraestrutura utilizáveis ​​e de código aberto que suportem a reprodutibilidade para uma ampla  gama de estudos em diferentes domínios de maneira transparente. Ao mesmo tempo, os investimentos seriam úteis no alcance para informar e treinar pesquisadores sobre as melhores práticas e como usar essas ferramentas.

. Os periódicos devem considerar maneiras de garantir a reprodutibilidade computacional para publicações que fazem afirmações com base em cálculos, na medida do possível, ética e legalmente.

. A National Science Foundation deve tomar medidas para facilitar o compartilhamento transparente e a disponibilidade de artefatos digitais, como dados e códigos, para estudos financiados pela NSF, incluindo o desenvolvimento de um conjunto de critérios para repositórios abertos confiáveis ​​a serem usados ​​pela comunidade científica para objetos de interesse. o registro acadêmico e endossando ou considerando a criação de repositórios de código e dados para arquivamento e preservação de artefatos digitais de longo prazo que apóiam as afirmações feitas no registro acadêmico com base em pesquisas financiadas pela NSF, entre outras ações.

Confiança na Ciência

Replicabilidade e reprodutibilidade , por mais úteis que sejam na construção de confiança no conhecimento científico, não são as únicas maneiras de ganhar confiança nos resultados científicos. Síntese de pesquisa e meta-análise, por exemplo, são métodos valiosos para avaliar a confiabilidade e a validade de corpos de pesquisa, diz o relatório. Um objetivo da ciência é entender o efeito geral de um conjunto de estudos científicos, não determinar rigorosamente se algum estudo replicou outro.

Entre outras recomendações relacionadas, o relatório diz que as pessoas que tomam decisões pessoais ou políticas com base em evidências científicas devem ser cautelosas em tomar uma decisão séria com base nos resultados, não importa quão promissores, de um único estudo. Da mesma forma, eles não devem tomar um novo estudo contrário, como refutação de conclusões científicas apoiadas por múltiplas linhas de evidências anteriores.

O estudo - realizado pelo Comitê de Reprodutibilidade e Replicabilidade na Ciência - foi patrocinado pela National Science Foundation e Alfred P. Sloan Foundation. As Academias Nacionais são instituições privadas, sem fins lucrativos, que fornecem análises e conselhos objetivos e independentes à nação para resolver problemas complexos e informar decisões de políticas públicas relacionadas à ciência, tecnologia e medicina. Eles operam sob uma carta do congresso de 1863 para a Academia Nacional de Ciências, assinada pelo presidente Lincoln. Para mais informações, visite nationalacademies.org.

Mais informaçoes: Reprodutibilidade e Replicabilidade na Ciência

Fonte - Phys.org