IA ajuda cientistas a corrigir erros em estudos médicos

Ensaios clínicos randomizados e controlados são cruciais para determinar se um novo tratamento é seguro e eficaz. Mas muitas vezes os cientistas não relatam completamente os detalhes dos seus ensaios de uma forma que permita que outros investigadores avaliem quão bem conceberam e conduziram esses estudos.

Uma equipe da Universidade de Illinois Urbana-Champaign usou o sistema Bridges-2 do PSC para treinar ferramentas de inteligência artificial (IA) para detectar quando um determinado relatório de pesquisa está faltando etapas. Seu objetivo é produzir uma ferramenta de IA de código aberto que autores e periódicos possam usar para detectar esses erros e planejar, conduzir e relatar melhor os resultados de ensaios clínicos.

Quando se trata de demonstrar que novos tratamentos médicos são seguros e eficazes, a melhor evidência possível vem de ensaios randomizados e controlados. Na sua forma mais pura, isso primeiro significa atribuir pacientes aleatoriamente a um grupo que recebe tratamento experimental ou a um grupo de controle que não recebe.

A ideia é que, se você atribuir pacientes sem essa randomização, poderá atribuir pacientes mais doentes a um grupo e a comparação não será justa. Outra medida importante de qualidade é que os cientistas que o conduzem estabeleçam antecipadamente os seus objetivos e qual será a sua definição de sucesso, e não procurem “bons resultados” que não procuravam.

Às vezes, os cientistas fazem a coisa certa, mas não a registram corretamente em seus relatórios escritos. Às vezes, informações incompletas nos relatórios são um sinal de alerta de que algo importante foi perdido. Em ambos os casos, o grande volume de ensaios clínicos relatados todos os anos é muito maior do que os humanos podem avaliar quanto às etapas faltantes.

“Os ensaios clínicos são considerados o melhor tipo de evidência para cuidados clínicos. Se um medicamento vai ser usado para uma doença… é necessário demonstrar que é seguro e eficaz… Mas há muitos problemas com as publicações de ensaios clínicos. Muitas vezes não têm detalhes suficientes. Não são transparentes sobre o que exatamente foi feito e como, por isso temos dificuldade em avaliar o quão rigorosas são as suas provas”, diz Halil Kilicoglu.

Halil Kilicoglu, professor associado de ciências da informação na Universidade de Illinois Urbana-Champaign, queria saber se as IAs poderiam ser treinadas para verificar artigos científicos em busca dos componentes críticos de um ensaio randomizado e controlado adequado – e para sinalizar aqueles que falham. A ferramenta de sua equipe para a tarefa foi o principal supercomputador Bridges-2 da PSC. Eles obtiveram tempo no Bridges-2 por meio do programa ACCESS da NSF, do qual o PSC é um membro líder.

Como o PSC ajudou

Como ponto de partida, os cientistas recorreram à Declaração CONSORT 2010 e à Declaração SPIRIT 2013. Estas diretrizes para relatórios estabelecem 83 itens recomendados necessários para um ensaio adequado, elaborados por cientistas líderes na área. Para testar diferentes maneiras de fazer com que as IAs avaliem artigos científicos quanto à adesão ao SPIRIT/CONSORT, a equipe de Illinois usou um tipo de IA chamado processamento de linguagem natural (PNL). Eles testaram várias IAs desse tipo.

O Bridges-2 é adequado para o trabalho, em parte devido à sua capacidade de lidar com os enormes dados necessários no estudo de 200 artigos que descrevem ensaios clínicos que a equipe identificou na literatura médica entre 2011 e 2022. O sistema também oferece poderosas unidades de processamento gráfico (GPUs), que são usadas para treinar modelos de IA baseados em uma rede neural sofisticada chamada Transformer. Isto permite que as IAs distingam entre boas e más práticas de comunicação de informações.

A equipe de Illinois usou aleatoriamente uma parte dos artigos como dados de treinamento. Nos dados de treinamento, as respostas corretas foram rotuladas. Isso permitiu que o modelo aprendesse quais padrões no texto estavam associados às respostas corretas. O modelo ajustou então as suas ligações internas, fortalecendo aquelas que levaram a previsões corretas e enfraquecendo aquelas que não o fizeram. À medida que o treinamento avançava, o desempenho do modelo melhorava. Quando o treinamento adicional não produziu mais melhorias, os pesquisadores testaram a IA nos artigos restantes.

“Estamos desenvolvendo modelos de aprendizado profundo. E eles exigem GPUs, unidades de processamento gráfico. E você sabe, eles são… caros para manter… Quando você se inscreve no Bridges, você obtém… as GPUs, e isso é útil. Mas também, todo o software que você precisa geralmente está instalado. E principalmente meus alunos estão fazendo esse trabalho, e… é fácil de conseguir [them] acontecendo [Bridges-2]”, diz Kilicoglu.

O grupo de Kilicoglu classificou seus resultados de IA usando uma medida chamada F₁. Esta é uma espécie de média entre a capacidade da IA ​​de identificar itens ausentes da lista de verificação em um determinado artigo, bem como sua capacidade de evitar sinalizar erroneamente um artigo que estava seguindo o procedimento adequado. Uma pontuação F₁ perfeita é 1. A pior pontuação é 0.

Os resultados iniciais da IA ​​refinada foram encorajadores. A melhor das PNL teve pontuação F₁ de 0,742 no nível de frases individuais e 0,865 no nível de artigos inteiros. Os cientistas relataram seus resultados na revista Dados Científicos em fevereiro de 2025.

Kilicoglu e seus companheiros estão encorajados com os resultados, mas sentem que podem ser melhorados. Uma forma de fazer isso é incluir mais dados, aumentando o número de artigos que usam para treinar e testar as IAs. Eles também procuram usar ferramentas adicionais para refinar o processo de aprendizagem de IA, incluindo destilação. Nesse processo, uma grande IA desenvolvida num supercomputador ensina uma IA mais pequena, que pode ser executada num computador pessoal, a identificar a adesão ao SPIRIT/CONSORT.

A última etapa será importante para o objetivo final da equipe, que é fornecer essas ferramentas de IA gratuitamente a periódicos e cientistas. Usando essa ferramenta, os cientistas podem inserir seus rascunhos na IA e aprender imediatamente quando se esquecerem de uma etapa. Os periódicos podem utilizá-lo como parte do processo de revisão do artigo, enviando os artigos de volta aos seus autores para correção quando faltar um item da lista de verificação. Em última análise, o objectivo dos cientistas de Illinois é ajudar o campo da investigação médica a melhorar o seu desempenho em benefício dos pacientes.