Une étude menée par des analystes de Stanford et de l’Université de Californie a révélé que les dernières versions des chatbots ChatGPT ont montré une détérioration de leurs performances au fil du temps.
Les chercheurs de les universités de Stanford et de Californie n’ont pas pu expliquer la raison de cette dégradation des capacités du réseau de neurones, mais il s’avère que ChatGPT devient idiot, avec le temps. L’expérience impliquait de demander à ChatGPT-3.5 et ChatGPT-4 de résoudre des problèmes mathématiques, de répondre à des questions sensibles, de rédiger du code informatique et de démontrer des compétences de raisonnement spatial avec des conseils.
En mars, la version la plus récente de l’IA pouvait identifier les nombres premiers avec une précision de 97,6 %, mais en juin, ce chiffre est tombé à 2,4 %. Pendant la même période, pourtant, le modèle de réseau neuronal antérieur avait amélioré ses performances. De même, lors de la génération de lignes de code identiques, les capacités des deux versions de ChatGPT se sont détériorées après quelques mois. En mars, l’ancien modèle fournissait des explications détaillées sur les raisons pour lesquelles il ne pouvait pas répondre à certaines questions sensibles, comme l’appartenance ethnique des personnes. Cependant, en juin, les deux versions du réseau de neurones se sont simplement excusées sans fournir d’explications.
Les experts ont recommandé aux utilisateurs et aux entreprises qui dépendent des services de chatbots basés sur des réseaux de neurones d’effectuer des analyses régulières pour s’assurer que les chatbots sont toujours à jour et ne racontent pas de bêtises.
Par ailleurs, en juillet, les développeurs de ChatGPT ont publié un nouveau plugin pour la version payante, permettant au chatbot d’analyser des données, de créer du code Python, de construire des graphiques et de résoudre des problèmes mathématiques.
Le chatbot a également été capable de réfuter scientifiquement la théorie de la « terre plate. (Etude)
