Self-Attention 为什么成了 Transformer 的核心机制
软件模型有过一个很长的阶段:它们能读句子,却不太会“理解句子”。问题不在词表,也不完全在参数规模,而在于早期模型看待语言的方式太像流水线——前一个词处理完,才能轮到后一个词。这样一来,句子一长,前面的信息就会慢慢变模糊。 这就是我看完这期视...
持续更新
软件模型有过一个很长的阶段:它们能读句子,却不太会“理解句子”。问题不在词表,也不完全在参数规模,而在于早期模型看待语言的方式太像流水线——前一个词处理完,才能轮到后一个词。这样一来,句子一长,前面的信息就会慢慢变模糊。 这就是我看完这期视...
自然语言天生有歧义。 "The detective followed the spy with binoculars." 这句话有两个完全合理的理解:侦探拿着望远镜跟踪间谍,或者间谍带着望远镜刚好被侦探跟上了。人脑能瞬间意识到两种可能,但早...
软件开发里,大家最熟悉的词可能还是 agent。 但最近两年,另一个词开始频繁冒出来:harness。 这个词不好翻。按字面,它是“安全带”或者“束具”。不过放到 AI 工程里,我觉得它更像一层“驯化外壳”——不是替代模型,而是把一个不稳定...
软件分发原本只有两种主流颗粒度:一个是代码包(npm/pip/Docker),一个是 SaaS 帐号。最近半个月,我观察到第三种颗粒度正在固化下来——Plugin。OpenAI 给 Codex 加了 Plugin marketplace,A...
日期: 2026-05-17 作者: toy 最近一次远端节点升级让我意识到一件事——OAuth 在 SSH 远端场景下其实有一套可复用的范式。过去每次撞到都靠现场拼凑,这一次顺着 Hermes Agent 升级 + 接入 xAI Grok...
很多人第一次打开 Claude Code,最紧张的地方往往不是功能不会用,而是不知道第一句话该怎么说。这个视频其实很短,讲的也不是复杂技巧,但它点醒了一个很容易被忽略的问题:**Claude Code 的第一条 prompt,重点从来不在“...
本文整理自 Nate B Jones 一期关于企业 AI 变化的周观察。它表面上讲的是五条 AI 新闻,真正更值得看的是一个更底层的变化:企业正在把 AI 从聊天工具,改造成能接手真实工作流的执行者。
最近被问最多的一个问题是:我账号又被封了,怎么办。 不是”为什么不能用了”,而是”又”。说明这事已经从偶然变成了日常。 我自己也踩过几次坑,加上看了 Linux.do 上 oma 那篇被到处转...
这篇文章想聊的,是一个越来越不方便直说、但迟早要面对的现实。AI 当然在提高效率,可它也在制造一种很温柔、很隐蔽、很容易被误判成“进步”的退化。被削弱的,不是手速,不是信息量,不是表面产出,受伤最深的是思考、表达、搜索、判断、学习这些原本该...
本文整理自 AI Engineer 对 Intercom 工程负责人 Brian Scanlan 的分享。文章重点不只放在 Claude Code 和吞吐量翻倍,而是去看更关键的一层:当一家公司把 AI 接进主生产系统后,工程团队的分工、评...
这篇内容最值得看的地方,是它把视角直接抬到了组织层。Mike Spitz 没沿着“工程师配上 AI 之后效率更高”这条熟悉叙事往下讲,他干脆换了问题本身,从“如何让工程师产出更多”切到“如何让 agent 在组织里跑得更快”。问题一换,站会...
本文整理自张小珺 Podcast 对姚顺宇的访谈。这篇文章不再按访谈流水账复述,而是重新整理成一条更清楚的主线:当头部模型能力逐渐趋同后,大模型竞争为何会从天才叙事,转向组织能力、产品定义和长期执行。原视频:https://www.yout...
过去一周,AI Agent 圈一口气出了五个”记忆”相关开源项目。腾讯、盛大、字节、矩阵起源、上海交大联合,都在抢同一个心智位——「让 Agent 不再是金鱼脑」。 我把五个项目都摸了一遍,包括论文、第三方解读、工程...
5 月 9 日到 15 日这一周,大模型这边没什么”平静”可言。 OpenAI 还在为算力账单加杠杆,Anthropic 一边谈估值翻倍一边把云合同签到两千亿,Google 把 Gemini 直接焊死在 Androi...
这场分享里最有价值的,不是“Claude Code 很强”这种结论。这个结论现在已经不新鲜了。 真正值得记住的是另一句:**当编码吞吐不再是最贵的资源时,很多沿用了十几年的工程流程,会在你没注意的时候悄悄失效。** 这句话听起来像管理层口号...
作者:toy 先把两个词分清楚:Context 和 Context Window 不是一回事 这两个词被混着用太久了,写代码的时候迟早会踩坑。 上下文(Context),指的是 Agent 在执行任务时,实际拥有的所有信息。系统提示词、对话...
过去一年,大家聊 AI 竞争,最爱聊的是模型能力:谁更强,谁更会推理,谁在 coding 上更猛。但《硅谷101》这期《Token经济学:AI时代的新货币战争》把镜头往下压了一层,讨论的不是“谁更聪明”,而是“谁在为聪明买单”。这一下就把问...
这篇文章讲的是一个很容易被低估、但几乎所有 Agent 产品都会撞上的问题:上下文管理。Sally-Ann Delucia 这场分享的价值很直接,她没有泛泛谈“长上下文很重要”,直接把团队在真实产品里踩过的坑讲清楚了,尤其是为什么截断不行、...
很多人现在一提 eval,脑子里冒出来的还是老三样:题库、benchmark、离线跑分、回归测试。这个思路在过去不是错的。问题是,今天的 agent 系统已经越来越不像“一个发布后基本不动的程序”了。它会接工具、会吃上下文、会随着用户习惯漂...
这篇文章拆的是一个很具体、也很快会变成共性的问题:当团队开始把 OpenClaw / Pi 这类 coding agent 往真实产品里塞时,真正先卡住你的,通常不是模型能力,而是 CRM、ERP、邮件、session 和 CLI 接口有没...