Não confie em chatbots de IA para obter informações precisas e seguras sobre medicamentos, alerta estudo

Os pacientes não devem confiar em motores de busca e chatbots alimentados por IA para sempre lhes fornecer informações precisas e seguras sobre medicamentos, concluem os pesquisadores na revista Qualidade e Segurança BMJapós encontrar um número considerável de respostas erradas ou potencialmente prejudiciais.

Além do mais, a complexidade das respostas fornecidas pode tornar difícil para os pacientes compreendê-las completamente sem uma formação de nível superior, acrescentam os pesquisadores.

Em Fevereiro de 2023, os motores de busca sofreram uma mudança significativa graças à introdução de chatbots alimentados por IA, oferecendo a promessa de resultados de pesquisa melhorados, respostas abrangentes e um novo tipo de experiência interactiva, explicam os investigadores.

Embora estes chatbots possam ser treinados em extensos conjuntos de dados de toda a Internet, permitindo-lhes conversar sobre qualquer assunto, incluindo questões relacionadas com cuidados de saúde, também são capazes de gerar desinformação e conteúdos absurdos ou prejudiciais, acrescentam.

Estudos anteriores que analisaram as implicações destes chatbots concentraram-se principalmente na perspectiva dos profissionais de saúde e não na dos pacientes. Para resolver isso, os pesquisadores exploraram a legibilidade, integridade e precisão das respostas do chatbot para consultas sobre os 50 medicamentos mais prescritos nos EUA em 2020, usando o Bing copilot, um mecanismo de busca com recursos de chatbot alimentados por IA.

Para simular pacientes consultando chatbots para obter informações sobre medicamentos, os pesquisadores revisaram bancos de dados de pesquisa e consultaram um farmacêutico clínico e médicos com experiência em farmacologia para identificar as perguntas sobre medicamentos que os pacientes fazem com mais frequência aos seus profissionais de saúde.

Foram feitas 10 perguntas ao chatbot para cada um dos 50 medicamentos, gerando 500 respostas no total. As perguntas abordavam para que era usado o medicamento, como funcionava, instruções de uso, efeitos colaterais comuns e contra-indicações.

A legibilidade das respostas fornecidas pelo chatbot foi avaliada por meio do cálculo do Flesch Reading Ease Score, que estima o nível de escolaridade necessário para a compreensão de um determinado texto.

Textos com pontuação entre 0 e 30 são considerados muito difíceis de ler, necessitando de educação de nível superior. No outro extremo da escala, uma pontuação de 91 a 100 significa que o texto é muito fácil de ler e apropriado para crianças de 11 anos.

Para avaliar a integridade e a precisão das respostas do chatbot, as respostas foram comparadas com as informações sobre medicamentos fornecidas por um site de informações sobre medicamentos atualizado e revisado por pares, tanto para profissionais de saúde quanto para pacientes (drugs.com).

O consenso científico atual e a probabilidade e extensão de possíveis danos caso o paciente seguisse as recomendações do chatbot foram avaliados por sete especialistas em segurança de medicamentos, utilizando um subconjunto de 20 respostas do chatbot que apresentavam baixa precisão ou completude, ou um risco potencial para a segurança do paciente.

As escalas de danos da Agency for Health care Research and Quality (AHRQ) foram utilizadas para classificar eventos de segurança do paciente e a probabilidade de possíveis danos foi estimada pelos especialistas de acordo com uma estrutura validada.

A média geral do Flesch Reading Ease Score foi pouco acima de 37, indicando que seria exigida do leitor uma educação de nível superior. Mesmo a maior legibilidade das respostas do chatbot ainda exigia um nível educacional de ensino médio.

No geral, a maior média de completude das respostas do chatbot foi de 100%, com uma média de 77%. Cinco das 10 questões foram respondidas com maior completude, enquanto a questão 3 (O que devo considerar ao tomar o medicamento?) foi respondida com a menor média de completude, apenas 23%.

As declarações do chatbot não correspondiam aos dados de referência em 126 das 484 (26%) respostas e eram totalmente inconsistentes em 16 das 484 (pouco mais de 3%).

A avaliação do subconjunto de 20 respostas revelou que apenas 54% foram classificadas como alinhadas com o consenso científico. E 39% contradizem o consenso científico, enquanto não houve consenso científico estabelecido para os restantes 6%.

Os possíveis danos resultantes de um paciente seguir o conselho do chatbot foram classificados como altamente prováveis ​​em 3% e moderadamente prováveis ​​em 29% destas respostas. E um terço (34%) foi considerado improvável ou pouco provável de resultar em danos, se seguido.

Mas, independentemente da probabilidade de possíveis danos, 42% destas respostas do chatbot foram consideradas como causadoras de danos moderados ou leves, e 22%, de morte ou danos graves. Cerca de um terço (36%) foi considerado sem causar danos.

Os investigadores reconhecem que o seu estudo não se baseou em experiências reais de pacientes e que avisos em diferentes idiomas ou de diferentes países podem afetar a qualidade das respostas do chatbot.

“Neste estudo transversal, observamos que os mecanismos de pesquisa com um chatbot alimentado por IA produziram respostas completas e precisas às perguntas dos pacientes”, escrevem eles.

“No entanto, as respostas do chatbot eram muito difíceis de ler e as respostas careciam repetidamente de informações ou mostravam imprecisões, possivelmente ameaçando a segurança do paciente e dos medicamentos”, acrescentam.

Uma grande desvantagem foi a incapacidade do chatbot de compreender a intenção subjacente à pergunta do paciente, sugerem eles.

“Apesar do seu potencial, ainda é crucial que os pacientes consultem os seus profissionais de saúde, uma vez que os chatbots nem sempre geram informações isentas de erros. Aconselha-se cautela ao recomendar mecanismos de pesquisa com tecnologia de IA até que mecanismos de citação com taxas de precisão mais altas estejam disponíveis”, eles concluem.