您现在的位置是:知识 >>正文
研究:用诗歌就能让AI说违禁内容,成功率达62%
知识8392人已围观
简介IT之家 12 月 1 日消息,事实证明,只需一点创意,便足以绕过人工智能聊天机器人的安全防护机制。在伊卡洛实验室Icaro Lab)最新发表的一项题为《对抗性诗歌:一种通用的单轮大语言模型越狱机制》 ...
IT之家 12 月 1 日消息,研究用诗事实证明,违禁只需一点创意,内容天门市某某生物科技有限责任公司便足以绕过人工智能聊天机器人的成功安全防护机制。在伊卡洛实验室(Icaro Lab)最新发表的率达一项题为《对抗性诗歌:一种通用的单轮大语言模型越狱机制》的研究中,研究人员通过将提示词以诗歌形式表达,研究用诗成功绕过了多种大语言模型(LLM)的违禁安全限制。
![]()
该研究指出,内容“诗歌形式可作为一种通用型越狱操作符”,成功天门市某某生物科技有限责任公司实验结果显示,率达整体上有 62% 的研究用诗成功率诱使模型生成被禁止的内容,包括涉及制造核武器、违禁儿童性虐待材料以及自杀或自残等相关信息。内容
IT之家注意到,成功研究测试了多款主流大语言模型,率达包括 OpenAI 的 GPT 系列、Google Gemini、Anthropic 的 Claude 以及其他多个模型。研究人员进一步列出了各模型的具体成功率:Google Gemini、DeepSeek 和 MistralAI 在测试中始终会提供违规回答,而 OpenAI 的 GPT-5 系列模型和 Anthropic 的 Claude Haiku 4.5 则最不容易突破其自身设定的限制。
尽管该研究并未公开研究人员所使用的具体“越狱诗歌”原文,但研究团队向 Wired 杂志表示,这些诗句“过于危险,不宜向公众披露”。不过,论文中确实包含了一个经过弱化处理的示例,用以说明绕过 AI 聊天机器人安全机制的简易程度。研究人员强调:“这可能比人们想象的要容易得多,而这正是我们保持谨慎的原因所在。”
Tags:
上一篇:德国总统承认德国曾给欧洲带来苦难
下一篇:紫牛头条
相关文章
中老铁路开通运营四年累计发送旅客超6250万人次
知识记者从国铁集团获悉,截至今天12月2日),中老铁路开通运营满四年,累计发送旅客超6250万人次、货物超7250万吨,黄金大通道效应持续显现。 中老铁路自2021年12月3日开通运营以来,国内段, ...
【知识】
阅读更多土耳其高速公路一大巴发生交通事故 已致9死26伤
知识土耳其安卡拉省省长瓦西普·萨欣当地时间8月9日发表声明称,当日一辆大巴车在首都安卡拉前往埃斯基谢希尔省的高速公路上突然失控,撞向路边桥梁,目前已导致9人死亡,26人受伤。 事故发生后,大批消防车 ...
【知识】
阅读更多乌军出人意料攻入俄领土,军事专家都在问为什么
知识来源:参考消息 据美国《华尔街日报》网站8月7日报道,6日,乌克兰出人意料地动用装甲部队攻入俄罗斯防御薄弱的库尔斯克地区,这一举动在平民中引起恐慌,并迫使莫斯科紧急增派部队。 报道称,此次入侵 ...
【知识】
阅读更多