世界顶尖AI团队正努力解决在他们大型语言模型（LLM）中一种关键的资安漏洞，避免网路犯罪分子利用这种漏洞，发动所谓的「间接提示注入攻击」。

Google DeepMind、Anthropic、OpenAI与微软等公司正努力阻止这种攻击。在这种攻击中，第三方会在网站或电邮中隐藏指令，诱使AI模型泄露机密资料等未经授权的资讯。

AI新创公司Anthropic的威胁情报团队主管克莱茵说：「AI目前已被骇客份子用于攻击流程的每一个环节。」

各大AI团队正利用多种方法，包括聘请外部测试人员与使用AI驱动工具，来侦测并减少其AI技术被恶意使用。但专家警告，业界还没找到方法来阻止间接提示注入攻击。部分问题在于，LLM被设计为必须遵循指令，然而目前无法分辨使用者输入的指令是合法或不可信赖。这也是为什么AI模型容易被「越狱」，因为使用者可提示LLM忽略其安全防护。

克莱茵表示，Anthropic与外部测试人员合作，让其Claude模型加强抵抗间接提示注入攻击，并使用AI工具来侦测疑似攻击的情形，「当我们发现恶意使用时，会依据信任程度自动触发某些介入程序，或送交人工审查」。

Google DeepMind则采用称为「自动化红队演练」技术，让公司内部研究人员以逼真的方式持续攻击其Gemini模型，以发掘潜在安全弱点。

英国国家网路安全中心在5月警告，这种漏洞提高了风险，可能让成千上百万使用LLM与聊天机器人的公司与个人承受高度复杂的网路钓鱼攻击与诈骗。

LLM还有另一个重大弱点，外部人士可在用于AI训练的资料中植入恶意内容，为模型创造后门。上月一份新研究显示，这类所谓「对资料下毒攻击」比先前所想更容易执行。

骇客专家指出，近年来AI的进展已扩大网路犯罪产业。AI为业余骇客提供廉价工具来撰写恶意软体，包括迅速生成尚未被侦测的新型恶意程式码，使防范更为困难。

麻省理工学院（MIT）研究人员一项最新研究发现，他们调查的勒索软体攻击中有80%使用了AI；在2024 年，AI相关网路钓鱼诈骗与深伪（deepfake）诈欺案件也增加60%，包括逼真的语音诈骗。

AI工具也被骇客用来搜集受害者的线上资讯。LLM能高效率扫描网路上某人的公开帐号、图片，甚至找到其语音片段。Visa的风险与客户服务长Paul Fabara表示，这些资讯可用于策划精密的社交工程攻击以进行金融诈欺。

世界顶尖AI团队正努力解决在他们大型语言模型（LLM）中一种关键的资安漏洞，避免网路犯罪分子利用这种漏洞，发动所谓的「间接提示注入攻击」。（路透）