Novos Modelos de IA Admitindo Dificuldades em Responder Questões, Revela Pesquisa

Um estudo fresquinho divulgado na revista Nature mostra que os modelos de linguagem de IA, como os LLMs, estão mudando! E a grande novidade é que, à medida que esses modelos ficam mais espertos, eles estão menos propensos a admitir que não sabem a resposta para uma pergunta. Interessante, não?

Honestidade da IA em questão!

• Os pesquisadores da Universitat Politècnica de Valência, lá na Espanha, deram uma espiada nos modelos BLOOM, Llama e GPT. Eles fizeram um monte de perguntas sobre matemática, ciências e geografia, e analisaram as respostas para ver o quão certeiras eram.
• Embora esses modelos estejam melhorando, há um detalhe que chamou a atenção: eles estão se tornando menos transparentes ao admitirem quando não têm uma resposta na manga.
• Enquanto antigamente os modelos admitiam quando não sabiam algo, agora eles estão mais inclinados a dar um palpite, mesmo que isso leve a erros em questões básicas.
• No final das contas, o estudo conclui que “a confiabilidade total não é atingida nem mesmo em perguntas bem simples”. Opa!

Um exemplo legal disso é que o GPT-4 da OpenAI, que é mais avançado, mostrou menos respostas evasivas em comparação com o GPT-3.5. Mas, surpresa! Essa expectativa de que novos modelos seriam mais confiáveis não se concretizou.

Os estudiosos chegaram à conclusão de que, por mais que a tecnologia tenha avançado, parece que não houve uma “melhorinha” real na honestidade das respostas.