团队开发软件来阻止人工智能网络钓鱼诈骗

德克萨斯大学阿灵顿分校的一组研究人员开发出了一种软件，可以防止 ChatGPT 等人工智能聊天机器人创建钓鱼网站。由于网络犯罪分子一直在利用该技术设计诈骗行为，因此这一问题日益令人担忧。

该软件由计算机科学与工程系助理教授 Shirin Nilizadeh 和她的博士生 Sayak Saha Roy 和 Poojitha Thota 开发，可以让人工智能聊天机器人更好地检测和拒绝用户输入的可用于创建网络钓鱼网站的指令提示。

目前，人工智能聊天机器人具有一些内置检测功能，但 Nilizadeh 博士表示，她的团队发现了可以轻松绕过这些功能并利用聊天机器人发起这些攻击的漏洞。随着人工智能聊天机器人的出现，发起在线诈骗变得非常容易，即使对于技术技能最低的攻击者来说也是如此。现在，人们不需要编码专业知识来创建网站，因为人工智能几乎可以立即创建一个网站。

Nilizadeh 表示：“这些工具非常强大，我们正在展示攻击者如何滥用它们。”

Saha Roy 表示，为了开发他们的工具，该团队最初确定了可用于创建钓鱼网站的各种指令提示。利用这些知识，他们成功地训练了他们的软件识别和响应这些特定的关键字和模式，增强了其检测和阻止聊天机器人执行此类恶意提示的能力。

该团队的工作引起了网络安全行业的极大关注，他们最近在IEEE 安全与隐私研讨会(IEEE S&P 2024) 上发表的论文更是引人注目。5 月，研究人员不仅分享了他们的研究成果，还获得了杰出论文奖，进一步凸显了他们研究的影响力。

“我希望人们能够接受我们的工作并认识到风险，”萨哈·罗伊说。“这从安全社区开始，然后逐渐蔓延。”

研究人员已经联系了开发这些聊天机器人的大型科技公司，包括谷歌和 OpenAI，旨在将他们的研究成果整合到更广泛的人工智能安全战略中。Saha Roy 和 Thota 都表达了对他们的研究对网络安全影响的强烈承诺。

“我很高兴能够参与这项重要的研究，”托塔补充道。“我也期待与网络安全领域的同事分享这项工作，并找到进一步开展我们工作的方法。”