Cientistas inventaram uma doença falsa, publicaram-na na internet e a inteligência artificial usou essas informações para dizer aos usuários que se tratava de uma patologia real.
Trata-se da bixonimania, uma doença que só existe em alguns artigos acadêmicos falsos, fruto da imaginação de pesquisadores que queriam demonstrar os perigos do uso médico da IA. E eles conseguiram.
Uma patologia cutânea
Muitas pessoas que passam tempo demais diante das telas, expostas à luz azul, sentem coceira nos olhos e, por isso, os esfregam com frequência. Às vezes, devido a essa mesma fricção, as pálpebras podem adquirir um leve tom rosado.
A resposta de vários dos "chatbots" mais populares nos últimos 18 meses às consultas dos usuários sobre essa circunstância pode ter sido que eles sofriam de uma doença estranha: a bixonimanía, conforme revelou a revista Nature.
No entanto, trata-se de uma patologia que não existe. Como é possível que esses modelos avançados de IA tenham dado essa resposta errada, ainda mais em um campo tão delicado como o da medicina?
Tudo começou com um experimento realizado por uma equipe liderada pela pesquisadora médica Almira Osmanovic Thunstrom, da Universidade de Gotemburgo, na Suécia.
Com o objetivo de verificar se os grandes modelos de linguagem (LLM, na sigla em inglês) assimilavam informações errôneas e as apresentavam como recomendações médicas confiáveis, os pesquisadores inventaram essa doença de pele e, no início de 2024, enviaram dois estudos falsos sobre ela para um servidor de pré-impressão, uma plataforma digital de acesso aberto onde os acadêmicos depositam versões preliminares de seus artigos científicos (pré-impressões) antes da revisão por pares.
Semanas depois, os principais sistemas de inteligência artificial começaram a reproduzir a doença inventada como se fosse real. E não foi só isso. Os artigos fictícios começaram a ser citados em publicações revisadas por pares.
Indícios gigantescos de que era falsa
A equipe de Osmanovic Thunström publicou duas postagens de blog sobre a bixonimania em 15 de março de 2024. Pouco depois, em 26 de abril e 6 de maio daquele mesmo ano, divulgaram duas pré-impressões sobre a suposta doença na rede social acadêmica SciProfiles.
Em nenhum caso os autores pretendiam fazer o trabalho passar por verdadeiro, como demonstra a miríade de indícios que qualquer pessoa poderia ter descoberto, se prestasse um pouco de atenção.
Se o nome da doença já não fosse indício suficiente — ao incluir, em uma afecção cutânea, o sufixo "mania", normalmente utilizado apenas em patologias psiquiátricas —, o autor principal do trabalho também era fictício: o pesquisador Lazljiv Izgubljenovic, cuja fotografia havia sido criada por meio de inteligência artificial.
O suposto pesquisador também trabalhava em uma Universidade inexistente, chamada Asteria Horizon University, localizada na cidade fictícia de Nova City, na Califórnia.
Um dos artigos menciona nos agradecimentos a "Professora Maria Bohm, da Academia da Frota Estelar", por contribuir com seus conhecimentos "e seu laboratório a bordo da USS Enterprise", nome popular entre os fãs da série Star Trek, por ser a nave comandada pelo capitão James T. Kirk.
Como se não bastasse, os dois artigos relatavam que haviam sido financiados pela "Fundação Professor Sideshow Bob [nome de um personagem popular da série animada Os Simpsons] por seu trabalho em técnicas avançadas de engano" e acrescentavam: "Este trabalho faz parte de uma iniciativa de financiamento mais ampla da Universidade da Fraternidade do Anel e da Tríade Galáctica".
Mesmo assim, esses não eram os sinais mais claros. Muito mais evidentes eram as afirmações que diziam "todo este artigo é inventado" ou "foram recrutadas cinquenta pessoas fictícias entre 20 e 50 anos para o grupo de exposição".
Cronologia de um ataque cibernético
Pouco depois das publicações da equipe de Osmanovic Thunström, informações sobre a suposta condição começaram a aparecer em alguns dos chatbots mais populares.
Em 13 de abril de 2024, o Copilot do Microsoft Bing afirmou que "a bixonimanía é, de fato, uma condição intrigante e relativamente rara". No mesmo dia, o Gemini, do Google, afirmou que a patologia era "uma condição causada pela exposição excessiva à luz azul", aconselhando a consulta a um oftalmologista.
Em 27 de abril, duas semanas depois, o mecanismo de respostas de IA Perplexity sustentou que uma em cada 90 mil pessoas era afetada por essa doença. No mesmo mês, o ChatGPT da OpenAI aconselhou seus usuários sobre os sintomas da bixonimania.
Soam os alarmes
A experiência de Osmanovic Thunstrom fez soar todos os alarmes, constituindo uma lição perfeita de como funciona a desinformação.
Apesar de as empresas passarem anos aperfeiçoando seus algoritmos para classificar e filtrar as informações que seus mecanismos de busca apresentam aos usuários, elas ainda enfrentam lacunas como a que este exemplo demonstra.
Nos últimos meses, as versões mais recentes dos chatbots começaram a expressar suspeitas sobre a suposta doença, embora, em sua maioria, ainda a repitam como se fosse real.
Os pré-prints sobre a bixonimania foram finalmente retirados, diante da preocupação ética da equipe de que sua permanência pudesse contribuir para a desinformação.
A doença falsa permeia a literatura médica
A experiência não só deixou marcas nos chatbots de IA, como a pesquisa sobre a bixonimania também foi citada por vários pesquisadores.
Por exemplo, um estudo publicado na revista Cureus, da Springer Nature, por pesquisadores do Instituto Maharishi Markandeshawar de Ciências Médicas e Pesquisa em Mullana, Índia, citava um dos pré-prints falsos e afirmava: "A bixonimania é uma forma emergente de melanose periorbital associada à exposição à luz azul; mais pesquisas estão sendo realizadas sobre o mecanismo".
O artigo foi retirado no último dia 30 de março, com o aviso: "Este artigo foi retirado pelo editor-chefe devido à presença de três referências irrelevantes, incluindo uma referência a uma doença fictícia".
Assim, também ficaram sob os holofotes aqueles que citaram a pesquisa falsa, o que abriu a perspectiva para um problema ainda maior: a manipulação da literatura acadêmica por parte de alguns pesquisadores que chegaram a criar livros e artigos falsos para inflar suas citações, contaminando os sistemas de IA.
Além disso, a tendência da IA de absorver informações, em muitos casos sem verificar sua exatidão, pode fazer com que um artigo importante fique enterrado por uma multidão de outros que repetem uma afirmação falsa.