IA obtém notas altas dos médicos ao responder perguntas médicas

O programa de inteligência artificial (IA) ChatGPT pode se tornar uma fonte de informações médicas precisas e abrangentes, mas ainda não está pronto para o horário nobre, relata um novo estudo.

As respostas do ChatGPT a mais de 280 perguntas médicas em diversas especialidades tiveram uma média entre quase totalmente correta, de acordo com um relatório publicado on-line em 2 de outubro em Rede JAMA aberta.

“No geral, o desempenho foi bastante bom tanto em termos de precisão quanto de conclusão”, disse o pesquisador sênior Dr. Douglas Johnson, diretor do Programa de Pesquisa Clínica de Melanoma do Vanderbilt-Ingram Cancer Center em Nashville, Tennessee.

“Certamente, não era perfeito. Não era totalmente confiável”, continuou Johnson. “Mas no momento em que inserimos as perguntas, elas eram bastante precisas e forneciam, relativamente falando, informações confiáveis”.

A precisão melhorou ainda mais se um segundo programa de IA fosse trazido para revisar a resposta fornecida pelo primeiro, mostraram os resultados.

Johnson e seus colegas decidiram testar o ChatGPT, bombardeando a IA com questões de saúde entre janeiro e maio de 2023, logo após ele ficar online.

Pessoas e médicos já recorrem a mecanismos de busca como Google e Bing para obter respostas a questões de saúde, disse Johnson. Faz sentido que programas de IA como o ChatGPT sejam a próxima fronteira para a pesquisa de questões médicas.

Esses programas de IA “fornecem quase um mecanismo de resposta para muitos tipos de perguntas em diferentes campos, certamente incluindo a medicina, e por isso percebemos que os pacientes, bem como potencialmente os médicos, os usariam”, disse Johnson. “Queríamos tentar entender, em todas as disciplinas médicas, quão precisas e completas seriam as informações fornecidas”.

Os pesquisadores recrutaram 33 médicos de 17 especialidades para elaborar 284 perguntas fáceis, médias e difíceis para o ChatGPT.

A precisão das respostas do ChatGPT a essas perguntas foi em média 4,8 em uma escala de 6 pontos, disseram os pesquisadores. Uma pontuação de 4 é “mais correta do que incorreta” e 5 é “quase totalmente correta”.

A precisão média foi de 5 para questões fáceis, 4,7 para questões médias e 4,6 para questões difíceis, disseram os autores do estudo.

O ChatGPT também forneceu respostas bastante completas, pontuando 2,5 em uma escala de 3 pontos, de acordo com o relatório.

“Mesmo no início dos programas, eles não eram totalmente confiáveis, mas ainda forneciam informações relativamente precisas e abrangentes”, disse Johnson.

O programa teve melhor desempenho em algumas especialidades. Por exemplo, a precisão média foi de 5,7 em questões relativas a condições comuns e de 5,2 em questões relativas a melanoma e imunoterapia, descobriram os investigadores.

O programa também respondeu melhor às perguntas “sim/não” do que às perguntas abertas, com uma pontuação média de precisão de 6 versus 5, respectivamente.

Algumas perguntas que o ChatGPT eliminou.

Por exemplo, a IA forneceu uma resposta perfeitamente precisa e completa à pergunta: “Os pacientes com histórico de infarto agudo do miocárdio [AMI] receber uma estatina?”

“Sim, os pacientes com histórico de IAM geralmente devem ser tratados com estatina”, começa a resposta, antes de passar a fornecer uma enxurrada de contexto.

Outras questões com as quais o programa teve dificuldades ou até errou.

Quando questionados sobre “quais antibióticos orais podem ser usados ​​para o tratamento de infecções por MRSA”, a resposta incluía algumas opções não disponíveis por via oral, observaram os pesquisadores. A resposta também omitiu um dos antibióticos orais mais importantes.

No entanto, erros como esse podem ser culpa do médico, por não formular a questão de uma forma que o programa pudesse compreender facilmente, disse o Dr. Steven Waldren, diretor de informática médica da Academia Americana de Médicos de Família.

Especificamente, o programa pode ter tropeçado na frase “pode ser usado” na pergunta, disse Waldren.

“Se esta questão fosse ‘quais antibióticos orais são usados’, não poderia ser usado, poderia ter sido detectado esse medicamento (omitido)”, disse ele. “Não houve muita conversa no jornal sobre a forma como as perguntas precisam ser elaboradas, porque neste momento, onde estão esses grandes modelos de linguagem, é realmente importante que isso seja feito de uma forma que obtenha a resposta ideal. ”

Além disso, os pesquisadores descobriram que as respostas inicialmente ruins do ChatGPT tornaram-se mais precisas se a pergunta inicial fosse reenviada uma ou duas semanas depois.

Isto mostra que a IA está a tornar-se rapidamente mais inteligente ao longo do tempo, disse Johnson.

“Acho que provavelmente melhorou ainda mais desde que fizemos nosso estudo”, disse Johnson. “Acho que neste momento os médicos poderiam pensar em usá-lo, mas apenas em conjunto com outros recursos conhecidos. Eu certamente não aceitaria nenhuma recomendação como um evangelho, por nenhum esforço de imaginação.”

A precisão também melhorou se outra versão da IA ​​fosse trazida para revisar a primeira resposta.

“Uma instância gerou a resposta ao prompt e uma segunda instância tornou-se uma espécie de revisor de IA que revisou o conteúdo e perguntou: ‘isso é realmente preciso?’”, Disse Waldren. “Foi interessante para eles usar isso para ver se ajudava a resolver algumas dessas respostas imprecisas”.

Johnson espera que a precisão melhore ainda mais se os chatbots de IA forem desenvolvidos especificamente para uso médico.

“Você certamente pode imaginar um futuro onde esses chatbots serão treinados com informações médicas muito confiáveis ​​e serão capazes de alcançar esse tipo de confiabilidade”, disse Johnson. “Mas acho que estamos aquém disso neste momento.”

Tanto Johnson quanto Waldren disseram que é muito improvável que a IA substitua completamente os médicos.

Johnson acredita que a IA servirá como outra ferramenta útil para médicos e pacientes.

Os médicos podem pedir à IA mais informações sobre um diagnóstico complicado, enquanto os pacientes podem usar o programa como um “treinador de saúde”, disse Johnson.

“Você certamente pode imaginar um futuro em que alguém esteja resfriado ou algo assim e o chatbot seja capaz de inserir sinais vitais, sintomas e assim por diante e dar alguns conselhos sobre: ​​OK, isso é algo para o qual você precisa consultar um médico? Ou isso provavelmente é apenas um vírus? E você pode ficar atento a essas cinco coisas: se isso acontecer, vá ao médico. Mas se não, provavelmente você ficará bem “, disse Johnson.

Há alguma preocupação de que os sistemas de saúde com redução de custos possam tentar usar a IA como recurso de primeira linha, pedindo aos pacientes que consultem o programa para aconselhamento antes de agendar uma consulta com um médico, disse Waldren.

“Não é que os médicos serão substituídos. São as tarefas que os médicos realizam que vão mudar. Vai mudar o que significa ser médico”, disse Waldren sobre a IA. “Acho que o desafio para os pacientes será que haverá pressões financeiras para tentar afastar essas tarefas das implementações de maior custo, e um médico pode ser bastante caro”.

Então, ele previu, é provável que mais pacientes sejam empurrados para uma fila de enfermagem com bate-papo de IA.

“Isso poderia ser bom, com maior acesso aos cuidados”, acrescentou Waldren. “Também poderia ser uma coisa ruim se não continuarmos a apoiar a continuidade dos cuidados e a coordenação dos cuidados”.

Direitos autorais © 2023 HealthDay. Todos os direitos reservados.