AI 写代码，人退到了两头
有个概念我最近一直在用，叫”聪明区”和”笨蛋区”。提出它的是 Human Layer 的 Dex Hardy：一个大模型刚开始一段新对话时最聪明，因为这时注意力关系最松弛；你每往上下文里塞一个...
持续更新
更多文章
SAG 细读：用 SQL join 替图数据库的 RAG 实现
RAG 这个领域过去两年的主流方向是”补结构”。GraphRAG、HyperGraphRAG 都在解决一个问题——纯向量检索没法处理多跳推理，得给文档之间补上关系图。代价是要预先把整张知识图谱建好，存进图数据库，增量...
记住一个表达，从来不是因为努力记住它
我们都被同一种语言学习的失败困扰过：单词背了几千，听到 native speaker 还是要先翻译，张嘴前先在脑子里走一遍中文。这件事的归因，过去几十年都摁在”方法不对”上：是不是背单词的姿势错了，是不是语法没刷够。...
WebMCP：把网站变成给 agent 的 API
让 AI 帮你买两张演唱会的票，它背后要做多少事？ 按今天的做法，agent 会先把整个页面的 DOM 抓下来，再读一遍无障碍树（accessibility tree）去理解页面结构，然后截一张图，分析那些在 HTML 里看不到的元素，最后...
Agent 上不了网，却告诉你它查过
我先给一种失败模式起个名字：隐性失败。没有报错，没有警告，没有任何异常提示，你拿到的只是一个错答案。 这是 Bright Data 的 Rafael Levi 在 AI Engineer 大会上一场演讲的主题。他做的是帮 agent 大规模...
从写 Prompt 到写 Loop
最近翻硅谷工程师的讨论，有个变化挺明显：以前大家比谁的提示词写得漂亮，现在开始比谁的循环设计得好。 OpenClaw 的创始人 Peter Steinberger 在六月初发了条帖子，被看了八百多万次。他说，别再忙着主动提示你的 codin...
AI Code Review 的架构选择：把 CPG 建在 master 上
写过几年代码评审工具的人都知道，PR Review 真正的瓶颈不是 LLM 的输出能力，而是 LLM 看不见的上下文——一个改动在跨文件、跨模块、跨服务之后真正影响了什么。 最近这一年，AI Code Review 的产品越冒越多：PR-A...
1M 上下文，难点已经换了地方
一年前，模型支持 100 万 token 上下文还是发布会上的高光环节。现在它更像手机快充，人人都有，没有反而奇怪。Claude、OpenAI、Gemini 在海外，DeepSeek、MiniMax、Kimi、智谱在国内，新发布的模型几乎默...
用 Cloudflare Workers 当探针面板：CF-Server-Monitor 解掉了监控者悖论
自己玩 VPS 的人迟早会遇到一个问题：手里 5 台机器要监控，得装一个面板把它们串起来；问题是面板自己也得跑在一台机器上，那这台机器谁来监控？再开第 7 台吗？ 这就是监控者悖论。哪吒探针、Uptime Kuma 都绕不开这一层：Dash...
大型多模态模型的真正捷径,是给冻住的语言模型接一根线
过去三年,做”语言+图像”的人几乎都在重复一个动作:拿一个已经训得很大的语言模型,死死冻住它,然后在它前面接一个很小的转接头,把图像、视频、传感器数据翻译成它认识的”词”。听起来像凑合,但这条...
大模型的胜负手已经不在结构,而在效率
Paul 这一讲一开场就先打了个预防针:今天讲的是高度浓缩版的内容,MIT 隔壁的 ALP 那门课才是正经讲大模型,这里只是个高空俯瞰。听到一半我反而觉得,这种”俯瞰”才是真正值钱的。他把一个被无数公众号、技术博客、...
AI 的下一步不是更大的模型,是学会跟人合作
一门课的最后一讲,最能看出讲者真正在想什么。前面 11 讲是在搭骨架,数据、架构、对齐、融合、跨模态迁移、基础模型、强化学习,一块一块拼上去。到最后一讲,Paul Liang 不再讲新算法,而是退一步问:这些东西攒齐了,下一步应该长成什么样...
强化学习这十年,走的是一条不断"删东西"的路
监督学习像一次考试,你答一道题,老师立刻给分。强化学习不是。强化学习是你下一整盘棋,走了几十步,最后才知道这盘赢没赢,而且没人告诉你哪一步是关键的。这个差别看起来只是”反馈给得晚一点”,但它把整套训练范式都拧到了另一...
数据稀缺的模态,要靠别的模态来养
做机器人的人都熟悉一种处境:你想训一个新传感器上的模型,真实数据只有几千条,但同一个场景下,摄像头数据有几百万条、激光雷达数据有几千万条。你眼睁睁看着隔壁模态躺着金山,自己手里却只有沙子。 这不是你一个人的问题。医疗数据、生理传感器、嗅觉信...
多模态融合不是把数据拼起来,是让模态之间"乘起来"
机器人圈有句老话:传感器加一个,问题加十个。同事最初听到这话总觉得是抱怨,做久了才明白,它说的是一个具体的工程现象:你给机器人加一颗 IMU、一颗超声、一颗深度相机,它的感知能力并没有按”加法”涨,而是按”...
多模态对齐的难处,从来不是把数据拼起来
1976 年,一个叫 David McGurk 的心理学家做过一个实验。他给受试者放两段视频,画面里两个人在说话,音轨完全一样,但其中一个人的嘴型是发”ba”,另一个是发”fa”。受试者听到的...
模型架构的差别,在于你愿意把多少"结构"提前告诉模型
机器学习入门课的常见教法是:一周讲一个模型,线性回归、SVM、CNN、RNN、Transformer、GNN,一周一个,讲到学期末。学生记住了一堆名字,但下次拿到一个新数据集,还是不知道该选哪个,更不用说自己设计一个。 Paul Liang...
在动模型之前,你得先和数据"贴脸"
第 4 讲是这门课第一次把人按到键盘前面。前三讲讲原则、讲研究、讲数据本身的结构,从这一讲开始,Paul Liang 把麦克风让给两位 TA:David 和 Chanaka,带大家在 Colab 里把一个分类模型从头跑通。 听上去像一节教 ...
选模型之前,你得先给数据画一张脸
机器学习课的常见开场是讲算法:第一周线性回归,第二周决策树,第三周神经网络。Paul Liang 这一讲反着来。他先讲数据,而且讲了整整一节课,模型一个字没提。他给的理由很简单:你手里那摊数据长什么样,基本上已经决定了模型该长什么样,反过来...
研究是设计一个能失败的实验,不是想一个聪明点子
我以前一直觉得”做研究”是个挺玄的事:你得有灵感,得有品位,得在某天洗澡的时候突然冒出一个别人没想到的想法。后来在工程里摸爬几年,慢慢意识到大部分研究并不长这样。它更像一台机器,你按一个流程一圈一圈地转,转得快、转得...