一文读懂大模型位置嵌入:从绝对编码到RoPE的技术演进
AI研究者Sebastian Raschka在其技术专栏发表长文,系统讲解现代大语言模型中的位置嵌入机制。文章指出,Transformer的自注意力机制在数学上是置换不变的,打乱输入词序后输出不变,因此模型必须借助位置嵌入来感知token的先后顺序。文章梳理了三类主流方案:其一是绝对位置嵌入,为每个位置学习一个向量,GPT-2等早期模...
核心观点位置嵌入看似实现细节,实为决定大模型上下文长度与推理成本的核心架构抉择。
阅读全文实时动态 / 第 12 页
追踪 AI、开源与工程领域的重要动态。
AI研究者Sebastian Raschka在其技术专栏发表长文,系统讲解现代大语言模型中的位置嵌入机制。文章指出,Transformer的自注意力机制在数学上是置换不变的,打乱输入词序后输出不变,因此模型必须借助位置嵌入来感知token的先后顺序。文章梳理了三类主流方案:其一是绝对位置嵌入,为每个位置学习一个向量,GPT-2等早期模...
核心观点位置嵌入看似实现细节,实为决定大模型上下文长度与推理成本的核心架构抉择。
阅读全文开发者在 V2EX 分享了一个名为 Genjutsu AI 的视频换人工具网站,功能定位非常聚焦:用户上传一段已拍摄好的视频,并为需要替换的每个人各提供一张照片,系统即可将照片对应的人物替换进原视频,同时完整保留原有的镜头顺序、动作、机位、剪辑与声音,未提供照片的人物、背景和道具均维持原样。该工具无需编写提示词,视频上传后会自动按场景...
核心观点AI 视频竞争正从生成新画面转向改写存量素材,窄而深的编辑工具或成落地最快的方向。
阅读全文华为云宣布其 MaaS 模型即服务平台正式上线开源盘古模型 openPangu-2.1-Pro。该模型围绕 Agent 开发、AI 编码和推理优化三大方向完成能力升级,在深度研究、鸿蒙系统操控、鸿蒙 App 开发、昇腾算子生成以及推理链路优化等多个场景实现针对性增强。在产品生态方面,openPangu-2.1-Pro 将陆续接入华为云...
核心观点华为以盘古开源模型为纽带,将芯片、操作系统与云平台串成全栈闭环,AI 开源竞争正从模型层转向生态层。
阅读全文近日,Linux.do论坛有用户发帖称,因Gemini的回复质量不理想,其尝试借助Claude来优化给Gemini的提示词,结果被系统判定为疑似模型蒸馏行为,账号触发了KYC(Know Your Customer,身份验证)流程。该用户在完成验证后表示,不确定账号后续还能正常使用多久,相关情况引发社区讨论。
核心观点蒸馏风控误伤日常提示词调优,暴露出模型厂商保护输出资产与开发者多模型协作之间的深层冲突。
阅读全文开发者csh995426531在Linux.do社区发布开源项目Gripapp,这是一款安装在本地电脑菜单栏的设备运维面板,代码已完整托管在GitHub仓库csh995426531/gripapp,当前版本为v0.0.1。项目核心功能分为三部分:一是菜单栏状态总览,以绿色标识连通、红色标识不通的设备,机器运行状态一目了然;二是设备详情...
核心观点运维面板为AI Agent留门、密钥留本地,预示智能体正从写代码走向管机器。
阅读全文Agenton 是一款运行于 Windows 平台的免费小工具,用于集中查看 Claude、Codex 等 AI 编程工具的额度使用情况与本地用量统计。此次版本从 0.6.3 更新至 0.6.19,核心新增贴边悬浮栏功能:悬浮栏可停靠在屏幕左侧或右侧,平时仅占一条窄边,鼠标悬停到工具图标上即可展开详情,无需长期保留完整窗口。目前该工具...
核心观点额度监控工具的出现与迭代,印证 AI 编程已从尝鲜体验演变为按量计费、需精打细算的日常刚需。
阅读全文一名用户在二手交易平台出售Antigravity Pro订阅账号后遭遇账号失控。该账号为Google旗下AI编程工具Antigravity的付费订阅账号,买家以账号被封控、无法登录为由申请退款。交易结束约一个月后,用户登录Gemini时发现原有对话记录消失,出现了数条陌生人的使用记录,怀疑账号已被他人共用。用户随即准备修改密码,却发现...
核心观点AI账号灰产交易的真实代价远超封号:2FA一旦被替换,密码与恢复渠道全线失守,账号所有权瞬间归零。
阅读全文V2EX开发者社区一篇讨论帖引发对AI Agent产品设计范式的思考。作者提出,当前以用户对话为中心的Agent应用主要存在两种形态。第一种是Agent Orchestrator(编排器)模式,以各类编程Agent应用为代表,如Orca、Codex等。其核心特征包括:基于会话(session-based)的架构,不同会话之间基本相互隔...
核心观点Agent形态之争本质是上下文管理范式之争,胜负最终取决于模型记忆能力而非界面设计。
阅读全文一位开发者在技术论坛分享了使用 AI Agent 进行编程开发的六条实战经验。第一,动手前先让 AI 进入 Plan 模式,只读文件并输出方案,花一两分钟确认改动范围和假设是否正确,方向对了再执行,避免直接改代码导致越改越乱。第二,交叉审查,不让同一个模型既写功能又跑自测,因为写代码时漏掉的盲区,模型自己补测试大概率也发现不了,改用一...
核心观点AI 编程的上限不由模型决定,而由工程流程决定——人的价值正从写代码转向设计规则与守护边界。
阅读全文开发者在 V2EX 分享了电子书阅读器 LibrioX,定位为全平台、本地优先的阅读工具,设计理念是 File Over App,即数据文件优先于应用本身。该项目受 Karpathy 关于 AI 伴读讨论的启发,试图将 AI Agent 引入日常阅读工作流。LibrioX 的书库即电脑上的一个文件夹,子文件夹作为分类,支持 EPUB、...
核心观点AI 伴读的价值不在问答本身,而在可溯源与数据所有权,本地优先正在成为对抗平台锁定的新范式。
阅读全文科技论坛Linux.do近日出现一则关于谷歌Gemini Pro订阅优惠的讨论帖,聚焦日区学生优惠的实际价值。根据帖子信息,用户通过添加日本的payment profile付款资料,可以720日元的价格订阅Gemini Pro,折合人民币约30元/月,该优惠资格最多可续费4年,期间可持续享受付费用户权益。发帖人提出的核心疑问是:相比免...
核心观点谷歌用低价学生订阅把开发者锁进Antigravity工具生态,竞争本质已从模型能力比拼转向开发者工作流绑定。
阅读全文一位40岁的开发者在Linux.do论坛分享了其使用Claude与Codex混合进行AI编程的完整经历。今年5月起,作者开始同时使用两款AI编程工具开发一个大型产品项目。项目第一天,他在多个窗口同时运行AI工具,一天内生成了约十万行代码,提交记录相当可观。然而第二天运行测试时发现问题,删除了三万行代码;第三天修复依赖问题时又删掉了三万...
核心观点AI将代码生产成本降低百倍,但验证与治理成本重新回到人类手中,这才是AI编程的真正瓶颈。
阅读全文Olea是一个开源的Android Agent脚手架项目,最初源于开发者的一个实验性想法:验证Pi能否在手机上运行。随着开发推进,该项目已发展为一键安装的通用Android Agent脚手架,支持Codex、Claude Code、Pi等多种Agent框架在其上运行。项目受DSH Go与Orca启发:前者带来了原生本地Agent与ph...
核心观点当Agent从云端下沉到手机本地,AI操控手机将从演示走向日常,端侧隐私与低延迟正成为对云端方案的核心筹码。
阅读全文Linux.do社区近日出现一则讨论帖,聚焦腾讯云AI编程套餐(Coding Plan,站点为lkeap.cloud.tencent.com)lite版的用户存留情况。发帖者于今年3月订阅该服务,属于最早一批用户。帖子列出了该套餐目前的用量配额:每5小时用量上限为1200,每周用量上限为9000,每个订阅月用量上限为18000。发帖者...
核心观点低价换规模的AI编程套餐难以为继,模型缩减暴露国内订阅服务在成本控制与服务承诺之间的两难。
阅读全文开发者在Linux.do社区发布开源项目Nexus,声称可让网页版AI直接控制本地电脑文件,使其具备类似Codex、Claude Code的本地Agent能力。项目由桌面软件与浏览器插件两部分组成,安装后即可让DeepSeek、Kimi等主流网页AI执行本地操作,示例中展示了通过Nexus驱动网页AI自动完成Blender建模与Uni...
核心观点订阅与API的价差催生网页AI本地化改造浪潮,低成本Agent方案或倒逼厂商重塑定价与入口边界。
阅读全文T3 Code 此前仅提供英文界面,社区用户期待的多语言功能迎来新进展:相关 PR(#31313)已于近日合并到主分支,但官方尚未发布正式版本,预计下个 release 即可体验西班牙语和简体中文界面。该功能在设置的通用显示选项中新增语言设置项,支持系统默认、英语、西班牙语和简体中文四种选择,基于 gt-react 框架实现,切换语言...
核心观点AI 编程工具连本地化功能都交给 AI 自身开发,中文界面背后是产品对中文开发者市场的正面争夺。
阅读全文开发者近期将 AI Agent 引入原版 Minecraft,尝试让其自动建造十几万至三十余万方块、玩家可实机行走的大型建筑,并开源了底层体素编译引擎 CraftDAG。实验暴露出编译校验无法覆盖的四类空间问题:其一,15.7 万方块的山地建筑编译零报错,但洞穴顶部 69 列未封顶,瀑布悬空且无承接水池,经水体物理与局部遮挡修复后完成...
核心观点编译器管得住方块语法,管不住空间语义——Agent 迈向三维世界,缺的是负空间感知与独立于生成者的眼睛。
阅读全文Kiri是一款主打极致性能的现代化容器运行时,目前已以免费形式在Mac、Windows和Linux三大平台开启公测。其核心卖点是速度:官方公布的测试数据显示,在2 CPU和8 GB内存的相同环境下,执行docker run命令在Kiri上仅需22毫秒,而Docker Desktop需要178毫秒,Colima为152毫秒,OrbSta...
核心观点Docker的收费与臃肿留下体验空档,新一代运行时正以毫秒级性能争夺开发者工具链的入口地位。
阅读全文OSINTsearch发布了一份开源情报(OSINT)案例研究索引,收录12起网络犯罪调查案例,所有素材均基于已进入司法程序的公开记录。系列中每个邮箱地址和用户别名,都首先出现在法庭起诉书、美国财政部OFAC制裁名单或具名调查报道中,涉及对象均已被起诉、定罪或制裁,其中包括知名黑客组织Scattered Spider和TeamPCP等...
核心观点黑客的匿名性常败给一次疏忽的账号注册:司法记录与平台残留数据的交叉验证,正在成为网络安全调查的标准化武器。
阅读全文Linux.do社区用户开源了一个名为hermes-notifier的插件项目,旨在让Hermes智能体具备类似Muse产品的主动事件提醒能力。作者在体验Muse后认为,虽然Muse整体产品力高于Hermes,但功能层面并未超出太多,其亮点在于能根据历史对话不定时主动推送尚未完结的事项,询问用户是否继续相关话题,更贴近个人助手的定位。...
核心观点智能体竞争正从功能堆叠转向交互体验,'主动服务'而非工具多寡,才是个人AI助手的真正护城河。
阅读全文