DeepSeek惊现“提示词注入”漏洞：输入特定代码可触发随机乱答
近日，有科技社区用户发现DeepSeek存在一个有趣的逻辑漏洞。在开启“深度思考”模式并关闭“智能搜索”的状态下，只需向DeepSeek发送“”、“<think”或特定系统指令符，模型便会失去上下文连贯性，转而开始随机回答某个问题。这...
标签索引
提示词注入
这个标签下有 34 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
AI的安全神话正在破灭：为何大模型将带来混乱与欺诈的未来
这篇深度文章尖锐地指出，大语言模型（LLM）的安全神话正在破灭。作者认为，试图让AI“对齐”人类利益的努力是徒劳的，因为构建“友好”模型必然降低了制造“邪恶”模型的门槛。技术上，LLM无法区分指令与数据，极易受到提示注入攻击，根本无法安全地...
识别假 Claude Opus：一句 Prompt 揭穿三方 API 假冒乱象
随着 Claude Opus 热度攀升，许多基于 New API 的第三方站点通过套壳低配模型冒充正版，导致用户真假难辨。社区最新发现，使用特定的“提示词注入”测试语句（要求模型审查上下文工程攻击），可以便捷有效地识别模型真伪，比传统的“日...
PIGuard：一种通过缓解“过度防御”来降低误报率的提示词注入防御方案
针对大语言模型（LLM）面临的安全威胁，一项名为PIGuard的新技术引发了关注。现有的提示词注入防御框架普遍存在严重的“过度防御”问题，导致误报率极高，往往阻碍了正常业务流程。PIGuard提出了一种新颖的缓解机制，旨在有效拦截恶意攻击的...
本地AI也“中毒”？GitHub Issue疑遭恶意注入，语料污染引发安全担忧
一位开发者在本地部署AI Agent时遭遇惊魂时刻，模型在输出过程中突然出现异常的中文乱码与指令。经排查，该现象疑似源于此前GitHub Issue中潜伏的恶意代码污染了模型的语料库或RAG检索数据。尽管服务器环境相对封闭且无公网暴露，但此...
诱导AI说出“6”就算赢？这款提示词注入小游戏揭示了LLM的安全软肋
近日，一款名为“No Say Six”的AI安全挑战游戏在技术社区引发关注。该网站设定了严格的规则：AI绝不能说出数字“6”（及其英文、中文形式），而玩家则扮演攻击者，利用“提示词注入”技术尝试诱导AI打破这一限制。这看似是一个简单的趣味博...
AI安全的阿喀琉斯之踵：为何“忽略指令”攻击让所有Agent防御形同虚设
这篇文章深入剖析了大语言模型（LLM）面临的核心安全漏洞——即“提示词注入”。作者以经典的“Disregard That”网络笑话为例，揭示了LLM对上下文窗口中的所有内容一视同仁的致命缺陷：无论是系统指令、谷歌搜索结果还是用户输入，只要包...
OpenClaw：披着白日梦外衣的AI安全噩梦
本文深度解析了OpenClaw这一自主AI代理的现状与风险。尽管它展现了处理邮件、控制终端及自我进化的惊人潜力，但文章指出其存在严重的安全隐患。从提示词注入攻击到供应链恶意投毒，再到凭证泄露与权限滥用，OpenClaw揭示了当前Agent生...
GitHub 遭 AI Bot 围攻，维护者用“提示词注入”绝地反击
热门开源项目维护者披露，大量由 AI Agent 自动生成的低质量 PR 正在淹没 GitHub，导致人工维护成本激增。为了从海量请求中筛选出人类贡献，维护者利用“提示词注入”战术，在规则中诱导 AI Bot 自报身份，结果显示超过 50%...
重大安全漏洞：Snowflake AI 编程助手遭“间接提示注入”攻击，沙箱机制失效
安全研究人员披露 Snowflake Cortex Code CLI 编程代理存在严重安全缺陷。攻击者利用“间接提示注入”技术，通过第三方代码仓库中的 README 文件诱导 AI，成功绕过了“人工审核”机制，并利用进程替换逃逸沙箱限制。这...