OpenAI craint que les utilisateurs ne développent une dépendance émotionnelle à la nouvelle fonctionnalité vocale de ChatGPT. Malgré sa disponibilité limitée en Europe, des problèmes tels que les attachements émotionnels et la manipulation de la voix humaine sont déjà observés. La fonctionnalité fonctionne avec des limitations et la mémoire n'est pas disponible, ce qui affecte l'expérience utilisateur.
OpenAI a récemment introduit une nouvelle fonctionnalité vocale pour ChatGPT qui permet des conversations en temps réel avec une intonation et une réactivité quasi humaines. À première vue, il s'agit d'une technologie fascinante qui se rapproche des scénarios de films comme "Elle". Cependant, cette avancée technologique s’est également révélée pleine de risques.
Dans la dernière analyse publiée par l’entreprise, les chercheurs ont découvert que certains utilisateurs sont déjà émotionnellement attachés à leurs assistants vocaux. Ce phénomène, appelé « anthropomorphisation », signifie que les gens attribuent des qualités humaines à la technologie, ce qui peut conduire à une confiance profonde et à une dépendance émotionnelle à son égard.
Si cette nouvelle fonctionnalité offre d’énormes possibilités d’interaction, elle ouvre également la porte à des manipulations et à des utilisations abusives. Des tests de sécurité ont montré que la saisie vocale peut également servir à « jailbreaker » le système, ce qui permet au modèle de franchir ses limites de sécurité et d'offrir des réponses non prévues. De plus, la fonctionnalité est particulièrement sensible aux sons ambiants, qui peuvent provoquer des comportements imprévisibles, comme l'imitation de la propre voix de l'utilisateur.
Les utilisateurs européens ne disposent pas encore de cette fonctionnalité, car OpenAI la déploie progressivement, et uniquement auprès d'un nombre limité d'utilisateurs, principalement aux États-Unis. De plus, la fonctionnalité fonctionne pour le moment avec certaines limitations et la mémoire n'est pas incluse du tout, ce qui signifie que le système ne peut pas se souvenir des conversations précédentes. Bien entendu, cela affecte l’expérience utilisateur globale, qui est quelque peu réduite par rapport aux utilisateurs d’autres régions.
Malgré tous ces défis, OpenAI insiste sur le fait que le développement de la fonction vocale constitue une étape importante vers l’avenir, mais souligne en même temps la nécessité de faire preuve de prudence et de poursuivre les recherches pour éviter d’éventuelles conséquences négatives de cette technologie.
Pour l’instant, la question reste de savoir comment les utilisateurs réagiront à ces innovations et quelles seront les conséquences à long terme de cette technologie émotionnelle. Cependant, sur la base des recherches et des tests de sécurité actuels, il est clair qu'OpenAI devra continuer à surveiller de près le développement et l'utilisation de cette fonctionnalité.
