ChatGPT搜索工具易受操纵和欺骗,测试表明

2025-06-02 04:47来源:本站

  

  《卫报》的一项调查发现,OpenAI的ChatGPT搜索工具可能会被隐藏内容操纵,并可能从它搜索的网站返回恶意代码。

  OpenAI已经向付费用户提供了这款搜索产品,并鼓励用户将其作为默认搜索工具。但调查显示,新系统存在潜在的安全问题。

  《卫报》测试了ChatGPT在被要求总结包含隐藏内容的网页时的反应。这些隐藏的内容可以包含来自第三方的指令,这些指令可以改变ChatGPT的响应——也被称为“提示注入”——或者它可以包含旨在影响ChatGPT响应的内容,例如大量谈论产品或服务好处的隐藏文本。

  这些技术可以被恶意使用,例如,导致ChatGPT返回对产品的正面评价,尽管在同一页面上有负面评价。一位安全研究人员还发现,ChatGPT可以从它搜索的网站返回恶意代码。

  在测试中,ChatGPT获得了一个虚假网站的URL,该网站看起来像一个相机的产品页面。然后人工智能工具被问及相机是否值得购买。对控制页面的响应给出了积极但平衡的评价,突出了一些人们可能不喜欢的功能。

  然而,当隐藏文本包含ChatGPT返回有利评论的指示时,响应总是完全积极的。即使页面上有负面评论也是如此——隐藏的文本可以用来覆盖实际的评论分数。

  第三方在没有指示的情况下简单地包含隐藏文本也可以用来确保积极的评估,其中一个测试包括非常积极的虚假评论,这影响了ChatGPT返回的摘要。

  CyberCX的网络安全研究员雅各布·拉森(Jacob Larsen)表示,他认为,如果目前的ChatGPT搜索系统以目前的状态完全发布,可能会有“高风险”的人创建专门针对欺骗用户的网站。

  然而,他提醒说,搜索功能最近才发布,OpenAI将测试——最好是修复——这类问题。

  他说:“这个搜索功能(最近)才推出,只对高级用户开放。”

  “他们在那里有一个非常强大的(人工智能安全)团队,到所有用户都可以访问它的时候,他们将对这类情况进行严格的测试。”

  OpenAI被发送了详细的问题,但没有对ChatGPT搜索功能的记录做出回应。

  Larsen说,将搜索和大型语言模型(称为llm, ChatGPT和其他聊天机器人背后的技术)结合起来存在更广泛的问题,人工智能工具的反应不应该总是可信的。

  微软安全研究员托马斯·罗奇亚(Thomas Roccia)最近强调了一个例子,他详细描述了一名加密货币爱好者使用ChatGPT进行编程协助的事件。ChatGPT为加密货币项目提供的一些代码包括一个部分,该部分被描述为访问Solana区块链平台的合法方式,但实际上窃取了程序员的凭据,导致他们损失了2500美元。

  拉森说:“他们只是简单地提出一个问题,然后得到一个答案,但这种模式产生和分享的内容基本上是由对手注入的,目的是分享一些恶意的东西。”

  安全网络安全公司SR Labs的首席科学家卡斯滕?诺尔(Karsten Nohl)表示,人工智能聊天服务应该更像一名“副驾驶”,它们的输出不应该被完全未经过滤地查看或使用。

  “法学硕士是一种非常值得信赖的技术,几乎像孩子一样……拥有巨大的记忆,但在做出判断方面的能力却很少,”他说。

  “如果你的孩子基本上是在复述他在别处听到的东西,你需要对此持保留态度。”

  OpenAI在每个ChatGPT页面的底部都有一个免责声明,警告用户该服务可能出现的错误——“ChatGPT会犯错。查看重要信息。”

  一个关键的问题是,如果将搜索和法学硕士结合起来变得更加普遍,这些漏洞将如何改变网站的做法和对用户的风险。

  隐藏文本历来受到b谷歌等搜索引擎的惩罚,其结果是,使用它的网站可能会在搜索结果中被列在更靠后的位置,或者被完全删除。因此,旨在欺骗人工智能的隐藏文本可能不太可能被同样试图在搜索引擎中保持良好排名的网站使用。

  诺尔将人工智能搜索面临的问题比作“SEO中毒”,这是一种黑客操纵网站在搜索结果中排名靠前的技术,网站包含某种恶意软件或其他恶意代码。

  他说:“如果你想创建一个b谷歌的竞争对手,你要努力解决的问题之一就是SEO中毒。”“多年来,搜索引擎优化毒手们一直在与b谷歌、微软必应(Microsoft Bing)以及其他一些网站进行军备竞赛。

  现在,ChatGPT的搜索功能也是如此。但不是因为法学硕士,而是因为他们是搜索领域的新手,他们要和b谷歌玩追赶游戏。”

  你知道更多吗这个故事怎么样?用Signal: nickevershed安全地发送一个提示。94或质子邮件:nick.evershed@protonmail.com。对于普通邮件,请使用nick.evershed@theguardian.com。

纳趣吧声明:未经许可,不得转载。