OpenAI 担心用户可能会对 ChatGPT 的新语音功能产生情感上瘾。尽管它在欧洲的可用性有限,但诸如情感依恋和人声操纵等问题已经被观察到。该功能运行有限制,内存不可用,影响用户体验。
OpenAI 最近为 ChatGPT 推出了一项新的语音功能,可实现具有接近人类语调和响应能力的实时对话。乍一看,这是一项令人着迷的技术,更接近《她》等电影中的场景。然而,这一技术突破也被证明充满风险。
在该公司发布的最新分析中,研究人员发现一些用户已经对他们的语音助手产生了情感依恋。这种现象被称为“拟人化”,意味着人们将人的品质赋予技术,从而可以产生对技术的深度信任和情感依赖。
虽然这一新功能带来了巨大的交互机会,但它也为操纵和滥用打开了大门。安全测试表明,语音输入还可以用于“越狱”系统,从而允许模型跨越其安全边界并提供非预期的答案。此外,该功能对环境声音特别敏感,这可能会导致不可预测的行为,例如模仿用户自己的声音。
![](https://e7852c3a.rocketcdn.me/wp-content/uploads/2024/08/pexels-theshantanukr-17603742-770x513.webp)
欧洲用户还没有此功能,因为 OpenAI 正在逐步推出该功能,并且仅向有限数量的用户(主要是美国用户)推出。此外,该功能目前还存在一定的限制,并且根本不包含内存,这意味着系统无法记住以前的对话。这当然会影响整体的用户体验,与其他地区的用户相比,体验有所下降。
尽管面临所有这些挑战,OpenAI 坚持认为语音功能的开发是迈向未来的重要一步,但同时指出需要谨慎行事并进行进一步研究,以防止该技术可能产生的负面后果。
目前的问题仍然是用户将如何对这些创新做出反应,以及这种情感技术的长期后果是什么。然而,根据当前的研究和安全测试,很明显 OpenAI 需要继续密切监控此功能的开发和使用。