Notícias
Pela primeira vez, uma inteligência artificial passa no teste de Turing
Cerca de 54% dos participantes que conversaram com o chatbot GPT-4 acreditaram erroneamente que estavam interagindo com uma pessoa real.
Um grupo de cientistas da Universidade da Califórnia, em San Diego, informou, em um artigo publicado recentemente no serviço de pré-impressão arXiv, que o popular chatbot GPT-4 conseguiu ser confundido com um ser humano em mais da metade das conversas que teve com pessoas que participaram do teste de Turing.
Em 1950, o matemático e cientista da computação britânico Alan Turing propôs um método de pesquisa para avaliar se uma máquina é capaz de exibir um comportamento inteligente a ponto de ser indistinguível de um ser humano.
Originalmente, o teste de Turing exigia três terminais fisicamente separados um do outro. Também foi previsto que um terminal seria operado por um computador, enquanto os outros dois seriam operados por humanos.
Durante o teste, um dos humanos faria perguntas, enquanto o outro humano e o computador responderiam. Após um determinado período ou número de perguntas, o interrogador seria solicitado a decidir qual dos entrevistados era humano e qual era computador.
GPT-4 passa no teste
Os autores do estudo replicaram o teste pedindo a 500 participantes que conversassem com quatro interlocutores diferentes, uma pessoa real e três sistemas de inteligência artificial (IA). Esses sistemas eram a ferramenta de IA ELIZA, que remonta à década de 1960 e se baseia em respostas predefinidas, e os modelos de linguagem GPT-3.5 e GPT-4, que impulsionam o ChatGPT.
Depois de conversar por cinco minutos, os participantes foram solicitados a responder se as conversas foram geradas por uma pessoa real ou por uma IA. Nos bate-papos do GPT-4, cerca de 54% das pessoas acreditaram erroneamente que estavam interagindo com uma pessoa real. Enquanto isso, o GPT-3.5 e o ELIZA foram vistos como humanos em 50% e 22% dos casos, respectivamente. Enquanto isso, o participante real foi reconhecido como um ser humano em 67% dos casos.
Os pesquisadores observaram que "os resultados fornecem a primeira demonstração empírica de que qualquer sistema artificial passa em um teste de Turing interativo para dois jogadores" baseado em conversação. Entretanto, eles reconheceram que "o raciocínio dos participantes sugere que fatores estilísticos e socioemocionais" desempenham um papel importante na "aprovação no teste de Turing", em vez de "ideias tradicionais de inteligência".
Nell Watson, cientista do Instituto de Engenheiros Elétricos e Eletrônicos (IEEE), explicou que "os modelos de linguagem [baseados em IA] são infinitamente flexíveis", pois são "capazes de sintetizar respostas para uma ampla gama de tópicos", além de descrever "a si mesmos com personalidade e valores orientados por caráter". "É um grande avanço em relação a algo programado manualmente por um ser humano, por mais inteligente e cuidadoso que seja", concluiu.