A IA de código aberto corresponde ao melhor modelo proprietário na solução de casos médicos difíceis

A inteligência artificial pode transformar a medicina de uma infinidade de maneiras, incluindo sua promessa de atuar como um assessor de diagnóstico confiável para os médicos ocupados.

Nos últimos dois anos, os modelos proprietários de IA, também conhecidos como modelos de código fechado, se destacaram em resolver casos médicos difíceis de incluir que requerem raciocínio clínico complexo. Notavelmente, esses modelos de IA de código fechado superaram os de código aberto, chamados porque seu código-fonte está disponível ao público e pode ser aprimorado e modificado por qualquer pessoa.

A IA de código aberto alcançou?

A resposta parece ser sim, pelo menos quando se trata de um desses modelo de IA de código aberto, de acordo com as conclusões de um novo estudo financiado pelo NIH, liderado por pesquisadores da Harvard Medical School e realizado em colaboração com os médicos do Hospital Beth Israel Deaconess, afiliados a Harvard Israel e Brigham e Brigham.

Os resultados, publicados em 14 de março em Jama Health Forummostre que uma ferramenta de IA de código aberto Challenger chamado LLAMA 3.1 405B realizou em pé de igualdade com o GPT-4, um dos principais modelo de código fechado proprietário. Em sua análise, os pesquisadores compararam o desempenho dos dois modelos em 92 casos misteriosos apresentados em The New England Journal of Medicine Rubrica semanal de cenários clínicos de desafio diagnóstico.

As descobertas sugerem que as ferramentas de IA de código aberto estão se tornando cada vez mais competitivas e podem oferecer uma alternativa valiosa aos modelos proprietários.

“Até onde sabemos, é a primeira vez que um modelo de IA de código aberto corresponde ao desempenho do GPT-4 em casos desafiadores, avaliados pelos médicos”, disse o autor sênior Arjun Manrai, professor assistente de informática biomédica no Instituto Blavatnik do HMS. “É realmente impressionante que os modelos de lhama tenham alcançado tão rapidamente com o principal modelo proprietário. Pacientes, prestadores de cuidados e hospitais devem ganhar com essa competição”.

Os prós e contras dos sistemas de IA de código aberto e de código fechado

A IA de código aberto e a IA de código fechado diferem de várias maneiras importantes. Primeiro, os modelos de código aberto podem ser baixados e executados nos computadores particulares de um hospital, mantendo os dados do paciente internamente. Por outro lado, os modelos de código fechado operam em servidores externos, exigindo que os usuários transmitam dados privados externamente.

“O modelo de código aberto provavelmente será mais atraente para muitos diretores de informação, administradores de hospitais e médicos, já que há algo fundamentalmente diferente sobre dados que deixam o hospital para outra entidade, mesmo confiável”, disse o principal autor do estudo, Thomas Buckley, um estudante de doutorado na nova IA na Medicine Track no Departamento de Informações Biomédicas do HMS.

Segundo, os profissionais médicos e de TI podem ajustar modelos de código aberto para atender às necessidades clínicas e de pesquisa exclusivas, enquanto as ferramentas de código fechado geralmente são mais difíceis de adaptar.

“Isso é fundamental”, disse Buckley. “Você pode usar dados locais para ajustar esses modelos, de maneiras básicas ou de maneiras sofisticadas, para que sejam adaptadas às necessidades de seus próprios médicos, pesquisadores e pacientes”.

Terceiro, desenvolvedores de IA de código fechado, como o OpenAI e o Google, hospedam seus próprios modelos e fornecem suporte tradicional ao cliente, enquanto os modelos de código aberto colocam a responsabilidade pela configuração e manutenção do modelo nos usuários. E pelo menos até agora, os modelos de código fechado se mostraram mais fáceis de integrar aos registros eletrônicos de saúde e à infraestrutura de TI do hospital.

AI de código aberto versus IA de código fechado: um scorecard para resolver casos clínicos desafiadores

Os algoritmos AI de código aberto e de código fechado são treinados em imensos conjuntos de dados que incluem livros médicos, pesquisas revisadas por pares, ferramentas de suporte à decisão clínica e dados anonimizados do paciente, como estudos de caso, resultados de testes, varreduras e diagnósticos confirmados. Ao examinar essas montanhas de material em Hyperspeed, os algoritmos aprendem padrões. Por exemplo, como são os tumores cancerosos e benignos no slide de patologia? Quais são os primeiros sinais reveladores de insuficiência cardíaca? Como você distingue entre um cólon normal e inflamado em uma tomografia computadorizada? Quando apresentados com um novo cenário clínico, os modelos de IA comparam as informações recebidas com o conteúdo que eles assimilaram durante o treinamento e propõem possíveis diagnósticos.

Em sua análise, os pesquisadores testaram lhama em 70 desafiadores clínicos Nejm Casos usados ​​anteriormente para avaliar o desempenho do GPT-4 e descritos em um estudo anterior liderado por Adam Rodman, professor assistente de Medicina do HMS da Beth Israel Deaconess e co-autor da nova pesquisa. No novo estudo, os pesquisadores adicionaram 22 novos casos publicados após o final do período de treinamento da LLAMA para se proteger contra a chance de que a LLAMA possa ter encontrado inadvertidamente alguns dos 70 casos publicados durante seu treinamento básico.

O modelo de código aberto exibiu profundidade genuína: a LLAMA fez um diagnóstico correto em 70 % dos casos, em comparação com 64 % para o GPT-4. Ele também classificou a escolha correta como sua primeira sugestão 41 % das vezes, em comparação com 37 % para o GPT-4. Para o subconjunto de 22 casos mais recentes, o modelo de código aberto pontuou ainda mais, aumentando a ligação certa 73 % do tempo e identificando o diagnóstico final como sua principal sugestão 45 % do tempo.

“Como médico, eu vi muito do foco em poderosos modelos de grandes idiomas se concentrarem em modelos proprietários que não podemos correr localmente”, disse Rodman. “Nosso estudo sugere que os modelos de código aberto podem ser igualmente poderosos, dando aos médicos e sistemas de saúde muito mais controle sobre como essas tecnologias são usadas”.

A cada ano, cerca de 795.000 pacientes nos Estados Unidos morrem ou sofrem incapacidade permanente devido a erro de diagnóstico, de acordo com um relatório de 2023.

Além dos danos imediatos aos pacientes, erros e atrasos de diagnóstico podem colocar um sério ônus financeiro no sistema de saúde. Os diagnósticos imprecisos ou tardios podem levar a testes desnecessários, tratamento inadequado e, em alguns casos, complicações graves que se tornam mais difíceis – e mais caras – para gerenciar com o tempo.

“Usados ​​com sabor e incorporado com responsabilidade na infraestrutura de saúde atual, as ferramentas de IA podem ser copilotes inestimáveis ​​para os médicos ocupados e servir como assessores de diagnóstico confiáveis ​​para melhorar tanto a precisão quanto a velocidade do diagnóstico”, disse Manrai. “Mas ainda é crucial que os médicos ajudem a impulsionar esses esforços para garantir que a IA funcione para eles”.