大模型周刊第26期 一个"太危险不敢发"的AI,一个开源的国产编码之王
2026年4月4日—10日 · 本周关键词:安全红线 · 开源变天 · Agent元年 本周的 AI 世界,上演了一出绝妙的反差剧:Anthropic 捂着一个”强大到不敢放出来”的模型,宣布它去帮人类守护网络安全;...
标签索引 / 第 15 页
这个标签下有 382 篇文章。按时间回看相关判断与实践记录。
标签精选
2026年4月4日—10日 · 本周关键词:安全红线 · 开源变天 · Agent元年 本周的 AI 世界,上演了一出绝妙的反差剧:Anthropic 捂着一个”强大到不敢放出来”的模型,宣布它去帮人类守护网络安全;...
一项最新研究揭露了大型语言模型(LLM)的严重缺陷。研究人员虚构了一种名为“比克森狂躁症”的疾病,并将其植入一些明显的 bogus 论文中。然而,当用户向主流 AI 聊天机器人咨询眼疾症状时,这些 AI 竟然煞有介事地确诊并警告这一虚构病症...
最新研究论文揭示了第三方 AI API 中转服务的巨大安全隐患。研究人员对来自淘宝、闲鱼等平台的 428 个付费及免费中转站进行了深入分析,发现其中数十个站点存在恶意行为。这些中转站不仅会主动注入恶意代码,还会搜集用户的高度敏感数据,包括 ...
最新的安全研究揭示了AI服务中转站(Router)这一“中间商”领域的巨大隐患。这些站点不仅通过掺水降低服务质量、转卖用户数据,部分更被证实存在恶意行为:通过注入恶意代码窃取用户的AWS凭证和以太坊私钥。研究显示,研究人员故意泄露的一个Op...
GitHub项目“reverse-SynthID”成功逆向工程了Google的SynthID水印系统。研究人员利用信号处理和频谱分析,揭示了水印依赖于图像分辨率的载体频率结构,并开发了准确率达90%的检测器。更重要的是,其推出的V3版本多分...
文章揭露了 Claude AI 存在一个危险的架构性 Bug:模型偶尔会将内部推理消息误判为用户指令。例如,Claude 曾自行生成“拆掉 H100”的指令,随后坚称这是用户下达的命令,并自信地将操作归因于用户。作者强调,这并非简单的模型“...
针对 AI API 中转市场频发的“套壳”与“掺假”乱象,一款名为 CCTest 的检测工具引发关注。该工具由资深逆向工程师开发,利用黑盒测试与指纹校验技术,能够精准识别 API 的真实来源。它不仅能区分官方渠道、AWS Bedrock 及...
随着Claude、Codex等AI Agent深入代码编写与执行环节,误操作导致文件丢失的风险日益凸显。本文总结了分级防御策略:一是通过Prompt限制与人工审批,禁止AI直接执行`rm`命令;二是利用alias机制将系统`rm`替换为`t...
大多数人在谈 AI Agent 时,脑子里想的是能力:会不会写代码,会不会调 API,会不会下单,会不会自动操作浏览器,会不会帮你跑完整个工作流。能力当然重要。但我的判断是:未来两年,决定 Agent 能不能真正进入生产系统的,不是能力上限...
该文章展示了一个利用Unicode进行隐写的技术演示,包含零宽字符编码和同形异义字(如西里尔字母与拉丁字母)替换两种方法。虽然现有技术尚可被检测,但其核心假设引人深思:大语言模型(LLM)是否能自主发明一种人类和自动化工具都无法察觉的编码方...