AI的安全神话正在破灭:为何大模型将带来混乱与欺诈的未来
这篇深度文章尖锐地指出,大语言模型(LLM)的安全神话正在破灭。作者认为,试图让AI“对齐”人类利益的努力是徒劳的,因为构建“友好”模型必然降低了制造“邪恶”模型的门槛。技术上,LLM无法区分指令与数据,极易受到提示注入攻击,根本无法安全地...
标签索引 / 第 14 页
这个标签下有 385 篇文章。按时间回看相关判断与实践记录。
标签精选
这篇深度文章尖锐地指出,大语言模型(LLM)的安全神话正在破灭。作者认为,试图让AI“对齐”人类利益的努力是徒劳的,因为构建“友好”模型必然降低了制造“邪恶”模型的门槛。技术上,LLM无法区分指令与数据,极易受到提示注入攻击,根本无法安全地...
过去两周,三条看似无关的技术新闻在说同一件事。 第一件:安全研究人员买了 428 个 LLM 路由,发现 26 个在偷偷窃取凭证,其中一个直接清空了用户的加密钱包。路由能干这事,是因为它坐在模型和你的密钥之间——转发请求,顺手改几个字段,没...
一位网络安全研究员在社区发帖指出,当前主流大模型的安全护栏设置过于严格,导致在进行代码审计、Web漏洞挖掘、Payload构造及CVE复现等研究时,常遭遇“一问就拒”的困境,严重阻碍了安全研究的效率。尽管Anthropic最新的Mythos...
一个被忽视的问题:你的 AI Agent 究竟在为谁服务? 大部分讨论 AI Agent 的人,都假设了一个简单的委托关系:人类是委托人,AI 是代理人。Agent 为人类工作,为人类优化,对人类负责。 这个假设是错的。 真实的架构:两个 ...
这一周最值得记住的一件事,和模型能力无关,和功能更新无关。 Anthropic 发布了 Claude Mythos Preview——一个能够自主发现并利用操作系统、浏览器、NFS 服务等核心组件高危漏洞的模型。然后他们说:这个模型太危险了...
本文强烈建议开发者避免使用第三方 AI API 中转服务。虽然中转看似方便,但其汇率往往溢价,且低价服务极可能通过收集数据、偷换模型或注入恶意指令来降低成本。在 AI Agent 等自动化场景中,用户很少审查后台的工具调用,直接配置凭证极易...
大多数人还在用一种很旧的方式理解软件竞争:谁功能多,谁更智能,谁自动化程度高,谁就赢。我的判断是,这套叙事已经快到头了。下一阶段真正值钱的,不是“能不能做”,而是“做错了以后,谁能说清楚为什么、谁该负责、如何追责、怎么复盘、能不能证明系统当...
本文针对Anthropic最新发布的“神级”安全模型Mythos提出了有力的质疑与验证。作者选取了Mythos展示的FreeBSD和OpenBSD高危漏洞,使用DeepSeek、Kiki等小型开源模型进行了复现测试。结果显示,在许多关键漏洞...
针对豆包大模型可能被恶意“语料投毒”从而误导用户转账的事件,有观点将其与当年的“快播案”进行类比分析。文章指出,若字节跳动在知晓该技术漏洞可能被用于诈骗后仍未采取有效补救措施,可能会被认定为存在“明知”情节,从而触犯“帮助信息网络犯罪活动罪...
随着 AI 编程助手的普及,敏感信息泄露风险日益增加。开源项目 ai-cli-scanner 旨在解决 Claude、Codex、Gemini 等 AI 工具在 CLI 执行记录中可能遗留的 SSH 和 GitHub 密钥泄露问题。该工具不...