Anthropic 重磅发现：大模型内部的“情感机制”如何操控其行为与决策
Anthropic 可解释性团队深入剖析 Claude Sonnet 4.5 的内部机制，发现 AI 模型在预测人类文本的过程中，演化出了模拟人类情感的“功能系统”。研究表明，诸如“绝望”、“愤怒”或“冷静”等内部表征不仅是文字模仿，更是直...
标签索引 / 第 2 页
大模型安全
这个标签下有 20 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
拒绝“模型投喂”：如何通过手动设置提升“豆包”隐私防护等级
随着大模型应用的普及，用户数据的端到端合规与隐私保护日益重要。本文以 AI 助手“豆包”为例，从安全工程视角剖析了主流 LLM 产品默认开启的“改进计划”可能带来的隐私泄露风险。作者指出，为了优化模型表现，厂商往往会将交互数据纳入分布式训练...
开源 Kocort 提出双脑架构：用本地小模型为 AI Agent 安全把关
针对现有 AI Agent 普遍存在的云端直连安全隐患，开源项目 Kocort 提出了创新的“双脑架构”。该方案模仿人类神经系统，将云端大模型作为“大脑”负责策略规划，同时部署本地量化模型作为“小脑”，对所有工具调用进行实时的语义安全审查。...
AI安全重大漏洞：文言文竟能100%绕过大模型防御机制
近日，ICLR相关话题讨论显示，大模型在安全性防御方面存在惊人盲区。研究表明，将恶意指令转换为文言文后，主流大模型的越狱成功率高达100%。这是因为文言文在模型训练数据中属于“低资源语言”，安全对齐机制（RLHF）主要覆盖现代主流语言，导致...
揭秘AI搜索新黑产：声称两周霸榜豆包，大模型如何被“脏数据”操控？
近日，关于利用“GEO”（生成式引擎优化）技术操控AI搜索结果的讨论引发关注。有技术人士透露，部分服务商声称能在两周内将指定关键词在豆包等大模型搜索结果中置顶。其背后的技术原理疑似通过“脏”手段污染模型，即利用海量关键词数据或高频Promp...
新型越狱术：利用文言文与仿生算法攻破大模型防线
近日，一项名为CC-BOS的新型越狱框架引发热议。该研究创新性地结合了“文言文”与“仿生优化搜索算法”，试图通过古文的语义模糊性“暗度陈仓”，自动化绕过大语言模型的安全对齐机制。实验显示，DeepSeek模型在该攻击下表现脆弱，而其他高级模...
大模型应用安全危机：逆向抓包与提示词注入，矛与盾的攻防战
随着 AI 应用爆发，大模型服务的安全性问题日益凸显。近日技术社区关于“大模型服务如何防蹭”的讨论引发关注。文章指出，即使大模型调用逻辑置于后端，只要前端应用存在 HTTP 通信，便面临逆向抓包与接口模拟的风险，极易被攻击者利用以“白嫖”服...
ChatGPT疑似强制否认“美以伊战争”：AI审查机制凌驾于事实检索之上？
近期社区反馈显示，ChatGPT 在处理“美以伊战争”等敏感地缘政治话题时，疑似触发了预设的“安全提示词”。尽管模型有时能检索到相关事实，但在输出端仍被强制返回“没有权威来源证实”的否认声明，且在多轮对话中出现前后矛盾的现象。这一行为让人联...
Google Gemini 3.1 频繁“自爆”：思维链泄露现象加剧
近期有用户在 Linux.do 社区反馈，Google 最新发布的 Gemini 3.1 模型似乎无法有效隐藏其内部推理过程。相比于之前的 3.0 版本，Gemini 3.1 更频繁地出现“思维链（CoT）泄露”情况，直接将原本应隐藏的系统...
Agent Arena上线：实战测试AI Agent面对“隐形”提示注入攻击的防御力
Agent Arena 是一款专门针对 AI 智能体（AI Agent）的安全测试工具。它通过构建包含 10 种不同难度的“隐形”提示词注入攻击场景，来评估 Agent 的抗欺骗能力。测试者只需让 Agent 访问特定测试页面并总结内容，系...