O ChatGPT responde a perguntas comuns dos pacientes sobre colonoscopia

Braden Kuo, MD, neurogastroenterologista e diretor do Centro de Saúde Neurointestinal do MGH e professor associado de Medicina na Harvard Medical School e Tsung-Chun Lee, MD, Ph.D., do Taipei Medical University Shuang Ho Hospital, em Taiwan são co-autores de uma recente carta de pesquisa publicada em Gastroenterologia“ChatGPT responde a perguntas comuns dos pacientes sobre colonoscopia.”

Aqui, eles respondem a perguntas sobre seu último estudo.

Qual foi a pergunta que você se propôs a responder com este estudo?

ChatGPT, uma nova ferramenta de processamento de linguagem impulsionada por inteligência artificial (AI), fornece respostas de texto conversacional para perguntas e pode gerar informações valiosas para indivíduos questionadores, mas a qualidade do ChatGPT gerado respostas a questões médicas ainda não está clara.

Que métodos ou abordagem você usou?

Recuperamos oito perguntas e respostas comuns sobre colonoscopia das páginas da Web publicamente disponíveis de três hospitais selecionados aleatoriamente da lista dos 20 melhores hospitais do US News & World Report Melhores Hospitais para Gastroenterologia e Cirurgia Gastrointestinal.

Inserimos essas perguntas como prompts para o ChatGPT duas vezes no mesmo dia e registramos as respostas geradas pelo ChatGPT.

Em seguida, usamos um software de detecção de plágio para comparar a semelhança de texto entre todas as respostas. Finalmente, para interpretar objetivamente a qualidade das respostas geradas pelo ChatGPT, quatro gastroenterologistas classificaram 36 pares aleatórios de perguntas e respostas para os seguintes indicadores de qualidade em uma escala de 7 pontos:

• (1) facilidade de compreensão
• (2) adequação científica
• (3) satisfação com a resposta

Os avaliadores também foram solicitados a interpretar se as respostas foram geradas por IA ou não.

O que você achou?

As respostas do ChatGPT tiveram similaridade de texto extremamente baixa em comparação com as respostas em páginas de hospitais, enquanto a similaridade de texto variou de 28% a 77% entre as duas respostas do ChatGPT.

As respostas do ChatGPT foram avaliadas de forma semelhante pelos gastroenterologistas às respostas não-IA em termos de facilidade de compreensão, mas com pontuações médias de IA mais altas do que as pontuações não-IA. Os escores também foram semelhantes quanto à adequação científica e satisfação com as respostas. Os avaliadores tiveram apenas 48% de precisão em dizer quais respostas foram fornecidas pelo ChatGPT.

Este estudo é o primeiro de seu tipo a demonstrar que um programa contemporâneo de IA de conversação derivado de modelo de linguagem grande é capaz de fornecer respostas fáceis de entender, cientificamente adequadas e geralmente satisfatórias para perguntas comuns sobre colonoscopia, conforme determinado por gastroenterologistas.

Esses programas podem ajudar a otimizar a comunicação clínica com os pacientes, especialmente para procedimentos de alto volume, como a colonoscopia. A IA conversacional capacitada por grandes modelos de linguagem como o ChatGPT tem o potencial de transformar e beneficiar a tomada de decisão compartilhada por pacientes e médicos.

Quais são as implicações?

Pesquisas futuras devem explorar as respostas a uma amostra mais ampla de perguntas e condições clínicas dos pacientes e incluir pacientes e médicos como avaliadores.