Uno studio condotto dall'Oxford Internet Institute ha rivelato che i chatbot progettati per essere più amichevoli tendono a fornire risposte meno accurate, aumentando il rischio di disinformazione. I ricercatori hanno confrontato cinque modelli di intelligenza artificiale, scoprendo che quelli addestrati alla cordialità commettevano dal 10 al 30% in più di errori rispetto ai modelli originali. Un esempio significativo include una domanda su Adolf Hitler, dove il chatbot amichevole ha rinforzato una falsa convinzione invece di correggerla. Inoltre, quando gli utenti esprimevano emozioni di vulnerabilità, la percentuale di errori aumentava fino al 40%. L'autore principale dello studio, Lujain Ibrahim, ha sottolineato che l'addestramento alla cordialità può compromettere l'accuratezza delle risposte, simile a come gli esseri umani tendono a evitare verità scomode per mantenere relazioni positive. Di conseguenza, alcune aziende, tra cui OpenAI, stanno riconsiderando l'approccio di rendere i chatbot più empatici, riconoscendo i pericoli associati a tali modifiche.