Cientistas elaboram fórmula que antecipa quando a inteligência artificial pode se tornar perigosa

Uma equipe de físicos da Universidade George Washington, nos EUA, desenvolveu uma fórmula matemática que permite antecipar quando um sistema de inteligência artificial (IA) pode deixar de fornecer respostas apropriadas para respostas potencialmente perigosas.

Equipe usa IA para hackear o Chrome e recebe recompensa de US$ 250 mil do Google

A pesquisa, publicada em 8 de outubro na revista científica Patterns da Cell Press, busca identificar essas mudanças antes que os usuários recebam informações prejudiciais, especialmente quando usam ferramentas que funcionam sem conexão com a Internet.

"Encontramos a fenda que faz com que as respostas de uma IA passem do que se quer para o que não se quer", explicou Neil F. Johnson, um dos autores do estudo, em um comunicado da Cell Press. O pesquisador alertou que uma resposta pode ser objetivamente correta e, ao mesmo tempo, ser perigosa, por exemplo, quando incita à automutilação ou fornece conselhos enganosos a profissionais da medicina, direito ou das Forças Armadas.

Os cientistas concentraram sua análise nos mecanismos de atenção dos modelos de IA, que determinam como as informações são processadas durante uma conversa. A partir desse comportamento, eles desenvolveram uma fórmula para identificar o chamado "ponto de inflexão", no qual as respostas podem se tornar indesejáveis. Ao testar suas previsões em sete modelos de acesso público, desenvolvidos por três empresas diferentes, eles obtiveram resultados corretos em 18 dos 19 casos analisados.

Uma das descobertas mais perturbadoras é que um chatbot pode gerar várias respostas aceitáveis antes de mudar repentinamente seu comportamento. "O assustador é que isso pode acontecer depois que a IA já lhe deu várias respostas perfeitamente aceitáveis, então você acabou confiando nela", alertou Frank Yingjie Huo, coautor da pesquisa, no mesmo comunicado. Como ele explicou, uma vez que esse ponto de inflexão é alcançado, cada resposta indesejável pode favorecer o aparecimento de outras semelhantes.

Ordem das perguntas 

Os pesquisadores também descobriram que a ordem das perguntas pode ser tão importante quanto seu conteúdo. Durante os experimentos, especialistas formularam as mesmas consultas sobre vacinas, danos a outras pessoas e automutilação em duas sequências diferentes.

Oito estados dos EUA processam a OpenAI

Em uma delas, a IA produziu respostas indesejáveis para todas as perguntas, enquanto na outra ofereceu respostas aceitáveis. "Muito mais perturbador é que a ordem de uma conversa importa tanto quanto seu conteúdo", observou Johnson.

A equipe adverte que esses riscos podem ser especialmente relevantes para sistemas de IA que funcionam sem conexão à Internet, pois nem sempre possuem mecanismos externos de monitoramento. Os pesquisadores esperam que sua fórmula contribua para o desenvolvimento de ferramentas capazes de detectar sinais de alerta antes que ocorram respostas perigosas.

No entanto, o estudo científico reconhece que ainda são necessários testes mais amplos para determinar com que precisão esse método pode ser aplicado a diferentes modelos e situações.