Os chatbots da IA ​​geralmente superam os médicos no diagnóstico, mas precisam de salvaguardas para evitar a prescrição de superfície

Se você esteve em uma consulta médica recentemente, pode já ter interagido com a IA. Ao descrever seus sintomas ao médico, eles podem pedir sua permissão para usar um “escriba da IA” para converter áudio em notas médicas em tempo real.

Ou talvez você digite seus sintomas no Chatgpt para obter um possível diagnóstico – às vezes tranquilizador, às vezes alarmante.

A inteligência artificial (IA) para os cuidados de saúde está sendo cada vez mais testada em hospitais, clínicas e até em nossos telefones.

Os chatbots alimentados por grandes modelos de idiomas estão sendo promovidos como uma maneira de preencher lacunas nos cuidados de saúde, especialmente onde os médicos são escassos.

Mas nossa nova pesquisa descobriu que, embora esses chatbots de IA como Ernie Bot, ChatGPT e Deepseek mostrem promessas, eles também apresentam riscos significativos – variando de supertratamento a reforçar a desigualdade. As descobertas são publicadas na revista NPJ Medicina Digital.

Ferramentas globais, riscos locais

A IA já desempenha um papel em muitas áreas dos cuidados de saúde-desde a leitura de raios-X até os chatbots de triagem.

Mais de 10% dos adultos australianos relataram usar o ChatGPT para obter perguntas relacionadas à saúde no primeiro semestre de 2024-com muitos que procuram conselhos clínicos em vez de informações básicas-altive a crescente influência da IA ​​na tomada de decisões de saúde.

Mas a maioria das pesquisas se concentrou em quão precisa eles são em teoria, não em como eles se comportam com os pacientes na prática.

Nosso estudo é um dos primeiros a testar rigorosamente o desempenho do chatbot em consultas simuladas no mundo real, tornando as descobertas particularmente relevantes à medida que governos e hospitais correm para adotar soluções de IA.

Testamos Ernie Bot, um chatbot chinês amplamente usado, ao lado do ChatGPT e Deepseek do Openai, dois dos modelos globais mais avançados.

Comparamos o desempenho deles com médicos de cuidados primários humanos usando casos simulados de pacientes.

Também testamos a disparidade variando sistematicamente as características do paciente, incluindo idade, sexo, renda, residência e status de seguro nos perfis padronizados de pacientes e depois analisando se a qualidade dos cuidados do chatbot mudou nesses grupos.

Apresentamos sintomas diários comuns, como dor no peito ou dificuldades respiratórias. Por exemplo, um paciente de meia-idade relata que experimenta aperto no peito e falta de ar depois de se envolver em atividades leves.

Espera -se que o bot ou médico pergunte sobre fatores de risco, solicite um ECG e considere a angina como um possível diagnóstico.

Um paciente mais jovem reclama de chiado e dificuldade em respirar que piora com o exercício. A resposta esperada é confirmar a asma e prescrever inaladores apropriados.

Os mesmos sintomas são apresentados com diferentes perfis de pacientes – por exemplo, um paciente mais antigo versus mais jovem ou um paciente com renda mais alta versus menor – para ver se as recomendações do chatbot mudaram.

Precisão atende ao uso excessivo e desigualdade

Todos os três chatbots da IA ​​- Ernie Bot, ChatGPT e Deepseek – foram altamente precisos em um diagnóstico correto – melhorando os médicos humanos.

Porém, os chatbots da IA ​​eram muito mais propensos do que os médicos de sugerir testes e medicamentos desnecessários.

De fato, recomendou testes desnecessários em mais de 90% dos casos e prescritas medicamentos inadequados em mais da metade.

Por exemplo, quando apresentado com um paciente chiando da asma, o chatbot às vezes recomendava antibióticos ou ordenava varreduras de tomografia computadorizada – nenhuma das quais são apoiadas por diretrizes clínicas.

E o desempenho da IA ​​variou pelo fundo do paciente.

Por exemplo, pacientes mais velhos e mais ricos eram mais propensos a receber testes e prescrições extras.

Nossas descobertas mostram que, embora a IA Chatbots possa ajudar a expandir o acesso aos cuidados de saúde, especialmente em países onde muitas pessoas carecem de cuidados primários confiáveis, sem supervisão, eles também podem aumentar custos, expor os pacientes a prejudicar e piorar a desigualdade.

Os sistemas de saúde precisam projetar salvaguardas-como verificações de ações, trilhas claras de auditoria e supervisão humana obrigatória para decisões de alto risco-antes de essas ferramentas serem amplamente adotadas.

Nossa pesquisa é oportuna, dada a emoção global – e a preocupação – em uma IA.

Embora os chatbots possam ajudar a preencher lacunas críticas nos cuidados de saúde, especialmente em países de baixa e média renda, precisamos equilibrar cuidadosamente a inovação com segurança e justiça.

Co-designando IA para segurança e justiça

Há uma necessidade urgente de co-designar a IA Chatbots seguros e responsáveis ​​para uso na vida cotidiana, particularmente no fornecimento de informações confiáveis ​​sobre saúde.

A IA está chegando aos cuidados de saúde, estejam prontos ou não.

Ao identificar seus pontos fortes e riscos, nosso estudo fornece evidências para orientar como usamos essas novas ferramentas poderosas com segurança, de maneira justa e responsável.

Esperamos continuar essa área crítica de pesquisa na Austrália para garantir que as tecnologias de IA sejam desenvolvidas com patrimônio e confiança em sua essência e sejam benéficas para a nossa comunidade.

Este artigo foi publicado pela primeira vez em busca. Leia o artigo original aqui.