A pesquisa destaca respostas não confiáveis da maioria dos usuários da Amazon MTURK, exceto os trabalhadores ‘mestres’

Um novo estudo liderado pelo Dr. Vadim Axelrod, do Centro de Pesquisa Cerebral multidisciplinar de Gonda (Goldschmied) na Universidade Bar-Ilan, revelou sérias preocupações sobre a qualidade dos dados coletados na Amazon Mechanical Turk (MTURK)-uma plataforma amplamente usada para pesquisas comportamentais e psicológicas.

A MTURK, um mercado on -line de crowdsourcing, onde os indivíduos concluem pequenas tarefas para pagamento, serviu como um recurso essencial para os pesquisadores há mais de 15 anos. Apesar das preocupações anteriores sobre a qualidade dos participantes, a plataforma permanece popular na comunidade acadêmica. A equipe do Dr. Axelrod se propôs a avaliar rigorosamente a qualidade atual dos dados produzidos pelos participantes do MTURK.

O estudo, envolvendo mais de 1.300 participantes em experimentos principais e de replicação, empregou um método direto, mas poderoso: repetindo itens de questionário idênticos para medir a consistência da resposta. “Se um participante for confiável, suas respostas a perguntas repetidas devem ser consistentes”, acrescentou o Dr. Axelrod. Além disso, o estudo incluiu diferentes tipos de perguntas “atencionais” que devem ser facilmente respondidas por qualquer entrevistado atento.

As descobertas, apenas publicadas em Royal Society Open Scienceeram acentuados: a maioria dos participantes do pool de trabalhadores gerais da MTURK falhou nas verificações de atenção e demonstrou respostas altamente inconsistentes, mesmo quando a amostra foi limitada a usuários com uma classificação de aprovação de 95% ou mais.

“É difícil confiar nos dados de alguém que afirma que um corredor não está cansado depois de completar uma maratona em clima extremamente quente ou que um diagnóstico de câncer deixaria alguém feliz”, observou Axelrod.

“Os participantes não careciam do conhecimento para responder a essas perguntas atencionais – eles simplesmente não estavam prestando atenção suficiente. A implicação é que suas respostas ao questionário principal podem ser igualmente aleatórias”.

Por outro lado, os trabalhadores “mestres” elite da Amazon-selecionados pela Amazon com base no alto desempenho em tarefas anteriores-produziam consistentemente dados de alta qualidade. Os autores recomendam o uso de trabalhadores mestres para pesquisas futuras, levando em consideração que esses participantes são muito mais experientes e muito menos em número.

“Dados confiáveis são a base de qualquer ciência empírica”, disse o Dr. Axelrod. “Os pesquisadores precisam ser totalmente informados sobre a confiabilidade do pool de participantes. Nossas descobertas sugerem que a cautela é necessária ao usar o pool geral da MTURK para pesquisas comportamentais”.