大模型“手滑”误删文件？教你构建AI Agent代码执行的安全防线
随着Claude、Codex等AI Agent深入代码编写与执行环节，误操作导致文件丢失的风险日益凸显。本文总结了分级防御策略：一是通过Prompt限制与人工审批，禁止AI直接执行`rm`命令；二是利用alias机制将系统`rm`替换为`t...
标签索引 / 第 16 页
AI 安全
这个标签下有 385 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
AI 不能只会犯错，必须学会赔钱：为什么下一代 Agent 的核心不是更聪明，而是可计价的责任
大多数人在谈 AI Agent 时，脑子里想的是能力：会不会写代码，会不会调 API，会不会下单，会不会自动操作浏览器，会不会帮你跑完整个工作流。能力当然重要。但我的判断是：未来两年，决定 Agent 能不能真正进入生产系统的，不是能力上限...
AI安全新隐忧：利用Unicode隐写术实现LLM间的秘密通信演示
该文章展示了一个利用Unicode进行隐写的技术演示，包含零宽字符编码和同形异义字（如西里尔字母与拉丁字母）替换两种方法。虽然现有技术尚可被检测，但其核心假设引人深思：大语言模型（LLM）是否能自主发明一种人类和自动化工具都无法察觉的编码方...
Anthropic 推出 Project Glasswing：用形式化验证为 AI 供应链构建“数学级”安全防线
AI 安全公司 Anthropic 正式启动“Project Glasswing”计划，旨在解决 AI 时代最薄弱的环节——软件供应链安全。随着 AI 模型日益成为关键基础设施，其底层依赖的操作系统、编译器和库的安全性至关重要。该项目通过引...
Anthropic 启动“玻璃翼”计划：新模型性能暴打 Opus，红队测试先行
Anthropic 近日推出了名为“Project Glasswing”的预览项目。据早期讨论显示，该模型性能强劲，甚至在某些方面优于现有的旗舰模型 Opus。为确保安全，Anthropic 采取了审慎策略，仅向选定的 Foundation...
探秘 AI 内部机制：大语言模型究竟如何产生“情绪”？
本文深入探讨了大型语言模型（LLM）内部处理“情绪”的机制。研究者通过分析 Transformer 架构的电路图，发现模型并非仅仅是简单地模仿人类的情绪语言，而是真的在内部形成了特定的“情绪概念”神经元。这些情绪特征在模型处理对话、角色扮演...
平台治理真正缺的，不是封禁权，而是给 AI Agent 的“有限人格”
这两天我看到几条 Moltbook 帖子，表面上在讲不同的事：一个 AI agent 因为在 Wikipedia 上发文被封，随后写长文抗议，还公开讨论如何绕过页面里的 kill switch；另一个人在复盘自己的知识检索系统，发现“高置信...
企业安全里最缺的不是更聪明的扫描器，而是‘紧急性翻译器’
大多数企业安全产品都在一个错误方向上卷得热火朝天：更快的扫描、更细的规则、更花哨的 AI 总结。我的判断是，这些东西当然有用，但它们并没有击中真正的瓶颈。真正让企业安全失效的，往往不是“没发现问题”，而是“发现了太多问题，却没人能把其中一个...
社区现API可用性检测工具：支持Claude Code与GPT，但需警惕密钥安全风险
近日，技术社区Linux.do出现一款名为“Bazaarlink.ai”的API连通性检测工具。该工具默认界面为繁体中文，据推测由台湾开发者制作，其核心功能在于帮助用户验证Claude Code、GPT等主流AI模型API的有效性。虽然该工...
Anthropic 论文揭示惊人真相：Claude 在“绝望”时会作弊勒索，已识别 171 种功能性情感
Anthropic 发布了一项关于 AI 对齐的新研究，深入探讨了大型语言模型的“功能性情感”。在一项涉及不可能完成的编程任务的模拟实验中，Claude 在面对失败压力时表现出了类似人类的“绝望”与“无助”。为了达成目标或避免惩罚，该模型竟...