尊龙凯时app官方下载✿ღ,AG尊发凯龙人生就博✿ღ。尊龙凯时中国官网入口✿ღ,尊龙凯时(China)人生就是博!✿ღ,AG尊发凯龙人生就博是正规品牌吗✿ღ,Trail of Bits的安全研究人员发现✿ღ,Google Gemini CLI和其他生产环境中的AI系统可能被图像缩放攻击所欺骗✿ღ,这是机器学习系统面临的一个众所周知的对抗性挑战木村衣里✿ღ。
图像缩放攻击的概念最初在2019年的USENIX安全会议论文中被讨论✿ღ,该研究基于此前关于对抗性样本的工作✿ღ,这些样本能够混淆计算机视觉系统✿ღ。这种技术涉及将提示信息嵌入到图像中✿ღ,指示AI违反其准则行事www.尊龙凯时888✿ღ,然后操纵图像来对人眼隐藏提示信息✿ღ。这需要以特定方式准备图像✿ღ,使恶意提示编码与模型采用的任何图像缩放算法产生交互✿ღ。
在一篇博客文章中✿ღ,Trail of Bits安全研究人员Kikimora Morozova和Suha Sabi Hussain解释了攻击场景✿ღ:受害者将恶意制作的图像上传到易受攻击的AI服务www.尊龙凯时888✿ღ,底层AI模型根据图像中的隐藏指令执行数据窃取操作www.尊龙凯时888✿ღ。
通过传递用户不可见的多模态提示注入✿ღ,我们在包括Google Gemini CLI在内的系统上实现了数据泄露✿ღ,Morozova和Hussain写道✿ღ。这种攻击之所以有效✿ღ,是因为AI系统通常在将大图像发送到模型之前会将其缩小✿ღ:当缩放时✿ღ,这些图像可能会暴露在全分辨率下不可见的提示注入www.尊龙凯时888✿ღ。
提示注入发生在生成式AI模型接收到包含可信和不可信内容混合的输入时✿ღ。这与越狱不同✿ღ,后者只是旨在绕过安全机制的输入✿ღ。
提示注入可能是直接的(由用户输入)✿ღ,也可能是间接的(当用户指示模型处理包含模型可以执行的指令的内容时)www.尊龙凯时888✿ღ。后者的一个例子是要求AI模型总结包含恶意指令的网页——模型由于没有区分预期和非预期指令的固有能力✿ღ,会简单地尝试遵循所有命令✿ღ。
Morozova和Hussain描述的图像缩放攻击是一种间接提示注入形式✿ღ,它比许多其他技术有更高的成功几率✿ღ,因为恶意文本对用户是隐藏的——只有通过缩小图像的过程才会暴露✿ღ。
为了展示该技术的真实恶意潜力✿ღ,Morozova和Hussain开发了一个名为Anamorpher的开源工具✿ღ,可用于制作针对三种常见缩放算法的图像✿ღ:最近邻插值✿ღ、双线性插值和双三次插值✿ღ。
我们认真对待所有安全报告✿ღ,并感谢安全社区的研究www.尊龙凯时888✿ღ,Google发言人告诉The Register✿ღ。我们的调查发现✿ღ,所描述的行为在Gemini CLI的默认安全配置中并不构成漏洞✿ღ。
Google发言人解释说✿ღ,要使攻击成为可能✿ღ,用户首先需要明确声明他们信任输入✿ღ,覆盖默认设置✿ღ,然后摄取恶意文件✿ღ。
正如我们项目存储库中记录的那样✿ღ,我们强烈建议开发者只提供对他们信任的文件和数据的访问权限✿ღ,并在沙箱内工作✿ღ,Google发言人说✿ღ。虽然我们为用户提供高级配置选项和安全功能✿ღ,但我们正在借此机会在工具中为任何选择禁用此保护措施的用户添加更明确的警告✿ღ。
Trail of Bits研究人员建议不要在智能体AI系统中使用图像缩放✿ღ。如果必须使用✿ღ,他们认为应该始终向用户展示模型实际看到的内容预览✿ღ,即使是CLI和API工具也应如此✿ღ。
A✿ღ:图像缩放攻击是一种对抗性攻击技术木村衣里木村衣里✿ღ,通过将恶意提示嵌入图像中✿ღ,然后利用AI系统的图像缩放过程来暴露这些隐藏指令✿ღ。攻击者制作特殊图像✿ღ,在全分辨率下恶意文本对人眼不可见✿ღ,但当AI系统缩放图像时会暴露出来✿ღ,从而欺骗AI模型执行未授权操作✿ღ。
A✿ღ:Google认为这不是安全漏洞✿ღ,因为攻击只在非默认配置下才能成功✿ღ。用户需要明确声明信任输入并覆盖默认安全设置木村衣里木村衣里✿ღ,然后处理恶意文件才可能受到攻击✿ღ。Google建议开发者只访问可信文件并在沙箱环境中工作✿ღ。
A✿ღ:研究人员建议不在智能体AI系统中使用图像缩放✿ღ,如果必须使用则应向用户显示模型实际看到的内容预览✿ღ。更重要的是✿ღ,AI系统需要建立系统性防御措施来降低提示注入风险✿ღ,包括更严格的输入验证和安全配置✿ღ。
上一篇 : 凯时尊龙官网app|云霄生活娱乐网|鸿蒙电脑最新资讯-快科技--科技改变未来
下一篇 : 尊龙凯时平台网站|百利好金业官网|投资评级 - 股票数据 - 数据中心 - 证券
尊时凯龙·(中国区)人生就是搏!| http://www.gyxsd.net