IA colaborativa passa em exames médicos nos EUA

Um conselho de cinco modelos de IA trabalhando juntos, discutindo suas respostas por meio de um processo iterativo, alcançou 97%, 93% e 94% de precisão em 325 questões de exames médicos abrangendo os três estágios do US Medical Licensing Examination (USMLE), de acordo com um estudo publicado em Medicina PLOS pelo pesquisador Yahya Shaikh de Baltimore, EUA, e colegas.

Nos últimos anos, muitos estudos avaliaram o desempenho de grandes modelos de linguagem (LLMs) em conhecimentos médicos e exames de licenciamento. Embora as pontuações tenham melhorado nos LLMs, observou-se um desempenho variável quando a mesma pergunta é feita várias vezes a um LLM – são geradas uma variedade de respostas, algumas das quais são incorretas ou alucinações.

No novo estudo, os pesquisadores desenvolveram um método para criar um conselho de agentes de IA – composto por múltiplas instâncias do GPT-4 da OpenAI – que passam por trocas coordenadas e iterativas projetadas para chegar a uma resposta de consenso. Um algoritmo facilitador facilita um processo deliberativo quando há respostas divergentes, resumindo o raciocínio de cada resposta e pedindo ao conselho que delibere e responda novamente à pergunta original.

Quando o conselho recebeu 325 perguntas USMLE disponíveis publicamente, incluindo aquelas focadas em ciências biomédicas fundamentais, bem como diagnóstico e gerenciamento clínico, o sistema alcançou respostas de consenso que foram corretas 97%, 93% e 94% das vezes para a Etapa 1, Etapa 2 CK e Etapa 3, respectivamente, superando os modelos GPT-4 de instância única. Nos casos em que não houve uma resposta unânime inicial, o conselho de deliberações da IA ​​alcançou um consenso que era a resposta correta em 83% das vezes. Para questões que exigiam deliberação, o conselho corrigiu mais da metade (53%) das respostas que a maioria dos votos havia obtido incorretamente.

Os autores sugerem que a tomada de decisão colectiva entre IAs pode aumentar a precisão e levar a ferramentas mais fiáveis ​​para os cuidados de saúde, onde a precisão é crítica. Contudo, observam que o paradigma ainda não foi testado em cenários clínicos reais.

“Ao demonstrar que diversas perspectivas de IA podem refinar as respostas, desafiamos a noção de que a consistência por si só define uma ‘boa’ IA”, afirmam os autores. “Em vez disso, abraçar a variabilidade através do trabalho em equipe pode desbloquear novas possibilidades para a IA na medicina e além”.

Shaikh diz: “Nosso estudo mostra que quando várias IAs deliberam juntas, elas alcançam o melhor desempenho de todos os tempos em exames de licenciamento médico, pontuando 97%, 93% e 94% nas etapas 1 a 3, sem qualquer treinamento especial ou acesso a dados médicos. Isso demonstra o poder da colaboração e do diálogo entre sistemas de IA para alcançar respostas mais precisas e confiáveis. Nosso trabalho fornece a primeira evidência clara de que os sistemas de IA podem se autocorrigir por meio de diálogo estruturado, com o desempenho de o coletivo melhor do que o desempenho de qualquer IA isolada.”

O pesquisador Zishan Siddiqui observa: “Este estudo não se trata de avaliar a habilidade da IA ​​em fazer o teste USMLE, do tipo que deixaria sua mãe orgulhosa, seu pai se gabaria e ganharia as manchetes. Em vez disso, descrevemos um método que melhora a precisão tratando a variabilidade natural da resposta da IA ​​como um ponto forte. Ele permite que o sistema faça algumas tentativas, compare notas e se autocorrija, e deve ser incorporado em ferramentas futuras para educação e, quando apropriado, clínicas cuidado.”

A pesquisadora Zainab Asiyah acrescenta: “A entropia semântica não apenas mediu dados, mas contou uma história. Ela mostra uma luta, altos e baixos e uma resolução, muito parecida com uma jornada humana. Ela revelou um lado humano dos LLMs. Os números mostram como os LLMs poderiam realmente convencer uns aos outros a assumir pontos de vista e conversar para mudar a opinião uns dos outros… mesmo que fosse a resposta errada. “