AI falha em passar no exame de qualificação para radiologia

Atualmente, a inteligência artificial (IA) não consegue passar em um dos exames de qualificação de radiologia, sugerindo que essa tecnologia promissora ainda não está pronta para substituir os médicos, revela um estudo na edição de Natal da o BMJ.

A IA está sendo cada vez mais usada para algumas tarefas que os médicos realizam, como a interpretação de radiografias (raios-X e exames) para ajudar a diagnosticar uma série de condições.

Mas a IA pode passar no exame de Fellowship of the Royal College of Radiologists (FRCR), que os estagiários do Reino Unido devem fazer para se qualificar como consultores de radiologia? Para descobrir, os pesquisadores compararam o desempenho de uma ferramenta de IA disponível comercialmente com 26 radiologistas (maioritariamente com idades compreendidas entre os 31 e os 40 anos; 62% do sexo feminino) todos aprovados no exame FRCR no ano anterior.

Eles desenvolveram 10 exames de relatórios rápidos “simulados”, com base em um dos três módulos que compõem o exame FRCR de qualificação, projetado para testar candidatos para velocidade e precisão.

Cada exame simulado consistia em 30 radiografias com o mesmo nível de dificuldade e amplitude de conhecimento ou um nível superior esperado para o exame real de FRCR. Para passar, os candidatos tiveram que interpretar corretamente pelo menos 27 (90%) das 30 imagens em 35 minutos.

O candidato à IA foi treinado para avaliar radiografias de tórax e osso (músculo-esquelético) para várias condições, incluindo fraturas, articulações inchadas e deslocadas e pulmões colapsados.

Foram feitas concessões para imagens relacionadas a partes do corpo em que o candidato a IA não havia sido treinado, que foram considerados “ininterpretáveis”.

Quando as imagens não interpretáveis ​​foram excluídas da análise, o candidato à IA alcançou uma precisão geral média de 79,5% e passou em dois dos 10 exames simulados de FRCR, enquanto a média radiologista alcançou uma precisão média de 84,8% e passou em quatro dos 10 exames simulados.

A sensibilidade (capacidade de identificar corretamente pacientes com uma condição) para o candidato AI foi de 83,6% e a especificidade (capacidade de identificar corretamente pacientes sem uma condição) foi de 75,2%, em comparação com 84,1% e 87,3% em todos os radiologistas.

Em 148 das 300 radiografias que foram interpretadas corretamente por mais de 90% dos radiologistas, o candidato AI estava correto em 134 (91%) e incorreto nas 14 restantes (9%).

Em 20 das 300 radiografias que mais da metade dos radiologistas interpretaram incorretamente, o candidato AI estava incorreto em 10 (50%) e correto nas 10 restantes.

Curiosamente, os radiologistas superestimaram ligeiramente o desempenho provável do candidato à IA, presumindo que ele teria um desempenho quase tão bom quanto eles, em média, e os superaria em pelo menos três dos 10 exames simulados.

No entanto, este não foi o caso. Os pesquisadores dizem: “Nesta ocasião, o candidato à inteligência artificial não conseguiu passar em nenhum dos 10 exames simulados quando marcado de acordo com critérios igualmente rígidos para suas contrapartes humanas, mas poderia passar em dois dos exames simulados se dispensa especial fosse feita pelo RCR para excluir imagens nas quais não foi treinado.”

Essas são descobertas observacionais e os pesquisadores reconhecem que avaliaram apenas uma ferramenta de IA e usaram exames simulados que não foram cronometrados ou supervisionados, portanto, os radiologistas podem não ter sentido tanta pressão para fazer o seu melhor quanto em um ambiente real. exame.

No entanto, este estudo é uma das comparações cruzadas mais abrangentes entre radiologistas e inteligência artificial, fornecendo uma ampla gama de pontuações e resultados para análise.

Mais treinamento e revisão são fortemente recomendados, acrescentam, particularmente para casos que a inteligência artificial considera “não interpretáveis”, como abdominais radiografias e as do esqueleto axial.

A IA pode facilitar os fluxos de trabalho, mas a contribuição humana ainda é crucial, argumentam os pesquisadores em um editorial vinculado.

Eles reconhecem que o uso de inteligência artificial “tem potencial inexplorado para facilitar ainda mais a eficiência e a precisão diagnóstica para atender a uma série de demandas de saúde”, mas dizem que fazê-lo adequadamente “implica educar melhor os médicos e o público sobre as limitações da inteligência artificial e tornando-os mais transparentes.”

A pesquisa neste assunto é movimentada, eles acrescentam, e este estudo destaca que um aspecto fundamental da prática da radiologia – passar no exame FRCR necessário para a licença para praticar – ainda se beneficia do toque humano.