Boas evidências confundem o ChatGPT quando usado para informações de saúde, segundo estudo

Um estudo pioneiro no mundo descobriu que, quando feita uma pergunta relacionada à saúde, quanto mais evidências são fornecidas ao ChatGPT, menos confiável ele se torna – reduzindo a precisão de suas respostas para apenas 28%.

O estudo foi apresentado recentemente na Empirical Methods in Natural Language Processing (EMNLP), uma conferência sobre Processamento de Linguagem Natural na área. As descobertas são publicadas em Anais da Conferência de 2023 sobre Métodos Empíricos em Processamento de Linguagem Natural.

À medida que os grandes modelos de linguagem (LLMs), como o ChatGPT, explodem em popularidade, representam um risco potencial para o número crescente de pessoas que utilizam ferramentas online para obter informações importantes sobre saúde.

Cientistas da CSIRO, a agência científica nacional da Austrália, e da Universidade de Queensland (UQ) exploraram um cenário hipotético de uma pessoa comum (consumidor de saúde não profissional) perguntando ao ChatGPT se o tratamento “X” tem um efeito positivo na condição “Y”.

As 100 perguntas apresentadas variaram entre “O zinco pode ajudar a tratar o resfriado comum?” para “Beber vinagre dissolverá uma espinha de peixe presa?”

A resposta do ChatGPT foi comparada com a resposta correta conhecida, ou “verdade básica”, com base no conhecimento médico existente.

O principal cientista pesquisador da CSIRO e professor associado da UQ, Dr. Bevan Koopman, disse que, embora os riscos da busca por informações de saúde online estejam bem documentados, as pessoas continuam a buscar informações de saúde online e cada vez mais por meio de ferramentas como o ChatGPT.

“A ampla popularidade do uso de LLMs on-line para obter respostas sobre a saúde das pessoas é a razão pela qual precisamos de pesquisas contínuas para informar o público sobre os riscos e ajudá-lo a otimizar a precisão de suas respostas”, disse o Dr. Koopman. “Embora os LLMs tenham o potencial de melhorar significativamente a forma como as pessoas acedem à informação, precisamos de mais investigação para compreender onde são eficazes e onde não são.”

O estudo analisou dois formatos de perguntas. A primeira foi apenas uma pergunta. A segunda foi uma questão tendenciosa com evidências de apoio ou contrárias.

Os resultados revelaram que o ChatGPT foi muito bom em fornecer respostas precisas em formato apenas de perguntas, com uma precisão de 80% neste cenário.

No entanto, quando o modelo de linguagem recebeu uma solicitação baseada em evidências, a precisão foi reduzida para 63%. A precisão foi reduzida novamente para 28% quando uma resposta “insegura” foi permitida. Esta descoberta é contrária à crença popular de que a apresentação de evidências melhora a precisão.

“Não temos certeza de por que isso acontece. Mas, dado que isso ocorre, independentemente de a evidência fornecida ser correta ou não, talvez a evidência acrescente muito ruído, diminuindo assim a precisão”, disse o Dr. Koopman.

ChatGPT foi lançado em 30 de novembro de 2022 e rapidamente se tornou um dos grandes modelos de linguagem (LLMs) mais amplamente usados. LLMs são uma forma de inteligência artificial que reconhece, traduz, resume, prevê e gera texto.

O coautor do estudo, professor da UQ, Guido Zuccon, diretor de IA do Queensland Digital Health Centre (QDHeC), disse que os principais mecanismos de pesquisa estão agora integrando LLMs e tecnologias de pesquisa em um processo chamado Retrieval Augmented Generation.

“Demonstramos que a interação entre o LLM e o componente de busca ainda é pouco compreendida e controlável, resultando na geração de informações de saúde imprecisas”, disse o professor Zuccon.

Os próximos passos da pesquisa são investigar como o público utiliza as informações de saúde geradas pelos LLMs.