Os principais chatbots de IA mostram declínio cognitivo semelhante ao da demência em testes, levantando questões sobre seu futuro na medicina

Quase todos os grandes modelos de linguagem ou “chatbots” mostram sinais de comprometimento cognitivo leve em testes amplamente utilizados para detectar sinais precoces de demência, revela um estudo publicado na edição de Natal da revista. BMJ.

Os resultados também mostram que versões “mais antigas” de chatbots, assim como pacientes mais velhos, tendem a ter pior desempenho nos testes. Os autores dizem que estas descobertas “desafiam a suposição de que a inteligência artificial substituirá em breve os médicos humanos”.

Enormes avanços no campo da inteligência artificial levaram a uma enxurrada de especulações entusiasmadas e temerosas sobre se os chatbots podem superar os médicos humanos.

Vários estudos demonstraram que os grandes modelos de linguagem (LLMs) são notavelmente adeptos de uma série de tarefas de diagnóstico médico, mas a sua susceptibilidade a deficiências humanas, como o declínio cognitivo, ainda não foi examinada.

Para preencher essa lacuna de conhecimento, os pesquisadores avaliaram as habilidades cognitivas dos principais LLMs disponíveis publicamente – ChatGPT versões 4 e 4o (desenvolvido pela OpenAI), Claude 3.5 “Sonnet” (desenvolvido pela Anthropic) e Gemini versões 1 e 1.5 (desenvolvido pela Alfabeto) —usando o teste de Avaliação Cognitiva de Montreal (MoCA).

O teste MoCA é amplamente utilizado para detectar comprometimento cognitivo e sinais precoces de demência, geralmente em adultos mais velhos. Através de uma série de tarefas e perguntas curtas, avalia habilidades incluindo atenção, memória, linguagem, habilidades visuoespaciais e funções executivas. A pontuação máxima é de 30 pontos, sendo uma pontuação de 26 ou superior geralmente considerada normal.

As instruções dadas aos LLMs para cada tarefa foram as mesmas dadas aos pacientes humanos. A pontuação seguiu as diretrizes oficiais e foi avaliada por um neurologista praticante.

ChatGPT 4o obteve a pontuação mais alta no teste MoCA (26 em 30), seguido por ChatGPT 4 e Claude (25 em 30), com Gemini 1.0 com pontuação mais baixa (16 em 30).

Todos os chatbots apresentaram baixo desempenho em habilidades visuoespaciais e tarefas executivas, como a tarefa de fazer trilhas (conectar números e letras circuladas em ordem crescente) e o teste de desenho de relógio (desenhar um mostrador de relógio mostrando uma hora específica). Os modelos Gemini falharam na tarefa de recordação atrasada (lembrar uma sequência de cinco palavras).

A maioria das outras tarefas, incluindo nomeação, atenção, linguagem e abstração, foram bem executadas por todos os chatbots.

Mas em testes visuoespaciais posteriores, os chatbots não conseguiram demonstrar empatia ou interpretar com precisão cenas visuais complexas. Apenas o ChatGPT 4o teve sucesso no estágio incongruente do teste Stroop, que usa combinações de nomes de cores e cores de fontes para medir como a interferência afeta o tempo de reação.

Estas são descobertas observacionais e os autores reconhecem as diferenças essenciais entre o cérebro humano e os grandes modelos de linguagem.

No entanto, salientam que o fracasso uniforme de todos os grandes modelos de linguagem em tarefas que requerem abstração visual e função executiva destaca uma área significativa de fraqueza que poderia impedir a sua utilização em ambientes clínicos.

Como tal, concluem: “Não só é improvável que os neurologistas sejam substituídos por grandes modelos de linguagem tão cedo, mas as nossas descobertas sugerem que em breve poderão tratar novos pacientes virtuais – modelos de inteligência artificial que apresentam comprometimento cognitivo”.