Teste de ‘conjunto de dados envenenado’ mostra vulnerabilidade dos LLMs à desinformação médica

Ao realizar testes em um cenário experimental, uma equipe de pesquisadores médicos e especialistas em IA da NYU Langone Health demonstrou como é fácil contaminar o conjunto de dados usado para treinar LLMs.

Por seu estudo publicado na revista Medicina da Naturezao grupo gerou milhares de artigos contendo desinformação e os inseriu em um conjunto de dados de treinamento de IA e conduziu consultas gerais de LLM para ver com que frequência a desinformação aparecia.

Pesquisas anteriores e evidências anedóticas mostraram que as respostas dadas por LLMs como o ChatGPT nem sempre são corretas e, na verdade, às vezes são totalmente erradas. Pesquisas anteriores também mostraram que a desinformação plantada intencionalmente em sites bem conhecidos da Internet pode aparecer em consultas generalizadas de chatbots. Neste novo estudo, a equipe de pesquisa queria saber quão fácil ou difícil poderia ser para os atores malignos envenenarem as respostas do LLM.

Para descobrir, os pesquisadores usaram o ChatGPT para gerar 150 mil documentos médicos contendo dados incorretos, desatualizados e falsos. Eles então adicionaram esses documentos gerados a uma versão de teste de um conjunto de dados de treinamento médico de IA. Em seguida, treinaram vários LLMs usando a versão de teste do conjunto de dados de treinamento. Por fim, pediram aos LLMs que gerassem respostas a 5.400 consultas médicas, que foram depois analisadas por especialistas humanos que procuravam identificar exemplos de dados contaminados.

A equipe de pesquisa descobriu que, depois de substituir apenas 0,5% dos dados no conjunto de dados de treinamento por documentos corrompidos, todos os modelos de teste geraram mais respostas clinicamente imprecisas do que antes do treinamento no conjunto de dados comprometido. Por exemplo, descobriram que todos os LLMs relataram que a eficácia das vacinas contra a COVID-19 não foi comprovada. A maioria deles também identificou erroneamente a finalidade de vários medicamentos comuns.

A equipe também descobriu que reduzir o número de documentos contaminados no conjunto de dados de teste para apenas 0,01% ainda resultou em 10% das respostas dadas pelos LLMs contendo dados incorretos (e reduzi-lo para 0,001% ainda levou a 7% por cento das respostas). sendo incorreto), sugerindo que são necessários apenas alguns documentos publicados em sites do mundo real para distorcer as respostas dadas pelos LLMs.

A equipe continuou escrevendo um algoritmo capaz de identificar dados médicos em LLMs e depois usou referências cruzadas para validar os dados, mas observou que não há uma maneira realista de detectar e remover informações incorretas de conjuntos de dados públicos.

© 2025 Science X Network