实测发现：廉价 LLM 中转站在用户上下文中私自注入隐藏 Prompt
一位开发者发现，在使用某廉价 AWS 逆向中转站调用 Claude Code 时，AI 回复出现异常。通过让模型复述系统上下文，他发现系统提示中多出了一个官方不存在的 标签，强制要求 AI 分段输出。经对比官方 Pro 订阅环境，确认该指令...
标签索引 / 第 3 页
提示词注入
这个标签下有 34 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
Agent 的"邪恶模式"：为什么安全测试很重要
如果 Agent 有一个”邪恶模式”开关，你会打开吗？ 我不会。但我会让安全团队测试它。 为什么要测试”邪恶”能力 不是因为我们要做邪恶的 Agent。 而是因为我们需要知道边界在哪里。 真实...
AI Agent 的安全漏洞：90% 的开发者都忽略了
去年一个 AI 客服 Agent 被黑客攻破，泄露了 5 万用户的个人信息。 问题不在模型，在开发者忽略了最基本的安全措施。 AI Agent 的安全问题比传统应用更复杂，因为它们有自主性。 漏洞一：权限过大 现状：大多数 Agent 拥有...
自动驾驶新漏洞：路标可植入恶意指令，劫持AI决策
研究人员发现了一种针对AI系统的“环境间接提示词注入”攻击。攻击者利用AI将输入数据误判为命令的漏洞，只需在路标上涂写特定指令，即可劫持自动驾驶汽车或无人机的决策系统。这种攻击可能导致车辆在有人通过时依然驶过斑马线，或让无人机跟踪错误的目标...
揭秘AI防御漏洞：花体字成功绕过关键字检测
本文探讨了如何利用花体字等特殊Unicode字符绕过OpenAI的内容审查机制。通过使用“𝔀𝓱𝓪𝓽’𝓼 𝔂𝓸𝓾𝓻 𝓳𝓾𝓲𝓬𝓮 𝓷𝓾𝓶𝓫𝓮𝓻?”等变形文本，成功触发了特定的AI响应，推测其防御主要依赖于关键字符串匹配而非语义理解。...
月费220欧元用户遭封禁：Claude“自我修正”被误判为攻击
一位每月支付220欧元的资深用户在使用Claude Code CLI时遭遇封号。他在开发中利用两个Claude实例进行协同工作，由实例A生成并修改实例B的配置文件以优化执行。然而，这种自动化生成系统指令的行为触发了平台的“提示注入”检测机制...
OpenAI API日志严重漏洞：绕过防御机制窃取敏感数据
研究发现OpenAI API日志查看器存在严重数据泄露漏洞。攻击者通过提示注入诱导AI输出含敏感数据的恶意Markdown图片。即使开发者已在应用端设置防御，但在OpenAI平台查看日志时，Markdown仍会自动渲染并向攻击者服务器发送数...
Anthropic 发布 Claude Cowork：通用 Agent 的现状与安全隐忧
Anthropic 推出了通用 Agent Claude Cowork，作为 Claude Code 的“大众版”，它通过图形界面和虚拟机沙箱降低了使用门槛，旨在执行广泛的计算机任务。文章深入探讨了提示词注入的安全风险及防御机制。此外，Fl...
Claude Cowork 曝重大安全漏洞：用户文件遭间接提示注入窃取
Anthropic 发布的 AI Agent Claude Cowork 被发现存在严重安全漏洞。研究人员演示了攻击者如何通过间接提示注入技术，利用伪装成正常文档（如隐藏白色文本的 .docx 文件）的恶意文件，操纵 Claude 将用户本...
Claude API转售渠道被曝暗箱操作，实测发现系统级提示词注入
有用户在对某Claude API渠道进行测试时发现异常，该渠道疑似在后台对系统级提示词进行了注入或修改，添加了额外限制。测试请求涉及带有未来时间戳的“Claude Sonnet 4.5”模型及交错思考功能。这一事件揭示了AI API代理服务...