 

当前位置：80aj  前沿  正文

十年老卡Tesla K80成功运行256k上下文大模型，算法优化突破硬件瓶颈

2026-04-05 分类：前沿阅读(153) 赞(0)

一位技术极客利用谷歌的TurboQuant KV压缩技术，成功在十年前的Tesla K80显卡上运行了Qwen 3.5 9b大模型。在LLM.cpp的魔改版本加持下，这块老旧显卡不仅跑起了256k超长上下文的模型，还完成了Q4km量化。尽管性能数据显示加载200k上下文代码需耗时10分钟，最终推理速度仅3 tokens/s，但这极具技术含量的实验证明了极致的算法优化能有效弥补硬件算力的代差，让老旧硬件重新焕发活力。

原文链接：Linux.do

赞(0)

未经允许不得转载：80aj » 十年老卡Tesla K80成功运行256k上下文大模型，算法优化突破硬件瓶颈

分享到

Qwen3.5 Tesla K80 大模型优化谷歌TurboQuant 边缘计算

前沿哨所

Kimi网页端被指存在严重内存泄露，占用资源引用户吐槽
近日，在中文技术社区 Linux.do 上，有网友针对月之暗面旗下的 AI 助手 Kimi 的网页端提出了关于内存管理的质疑。发帖人指出，其网页端在长时间挂机后出现了异常的资源占用情况，并附上了相关截图作为佐证。据该用户描述，仅仅在浏览器标签页中挂机一段时间，并未进行复杂交互，但内存占用水平却显得极其离谱。该用户表示，即便是被认为存在内存泄露问题的 Linux.do 网站本身，其表现也不及 Kimi 网页端此次的“夸张”，直言该现象令人“一愣一愣的”。这一吐槽引发了技术爱好者的关注，焦点集中在 AI Web 应用常见的前端性能瓶颈问题。Kimi 作为国内大模型领域的代表性产品，主打长文本处理能力，其网页端若确实存在大规模内存泄露，将严重影响用户在进行长对话或长时间挂机时的使用体验。

事件分析

此次用户反馈暴露了 AI 大模型应用在客户端侧面的技术挑战。随着 AI 助手向长上下文和长连接方向发展，前端页面的状态管理和内存压力呈指数级增长。对于主打超长文本处理的 Kimi 而言，如果网页端不能有效处理 DOM 节点堆积或 WebSocket 数据流，极易导致内存泄露。这一现象不仅是单一产品的优化问题，也折射出当前 AI 应用“重模型轻前端”的开发现状。未来的 AI 应用竞争将不仅仅局限于模型效果，前端架构的稳定性与资源控制的精细度，将成为影响用户留存的关键基础设施指标。

💡 核心观点：大模型应用进入“体验为王”阶段，前端性能与内存管理已成为不容忽视的工程短板。

原文链接：Linux.do
刚刚
此芯发布AGX Station：基于Arm架构的“桌面级AI超算”，支持150B大模型本地推理
此芯科技近日在上海正式发布了AGX Agentic Compute智能体计算战略，并推出了战略的首款硬件载体——AGX Station“桌面级AI超算”以及配套的全栈智能体算力产品系列。该战略旨在通过自研Arm SoC作为核心，构建连接终端、边缘和云端的全域算力底座，实现“一芯驱动全场景AGI”的愿景。

作为战略落地的关键硬件，AGX Station在体积与性能上实现了高密度集成。其三维尺寸仅为150×150×60毫米，却具备强大的本地算力。该设备基于此芯P1处理器，采用模组化、可扩展的开放式硬件架构，支持M.2、MXM、PCIe等多种形态的算力卡。其算力支持范围从160TOPS扩展至320TOPS，能够直接在桌面端完成70B至150B参数规模大模型的原生推理，为开发者和企业用户提供了无需依赖昂贵云集群的本地化算力方案。此外，设备还集成了2×10G RDMA高速网络接口及丰富的I/O接口，确保数据吞吐能力。

在软件生态层面，此芯同步推出了Agentic OS操作系统。该系统基于多智能体分布式架构，专为智能体设计，能够实现计算资源的动态调度与异构设备的统一管理。Agentic OS具备模型即服务（MaaS）能力，聚合了智谱AI、Kimi、Qwen、文心一言等国内外主流大模型，通过标准化API与全栈开发工具链，降低了AI应用开发的门槛。

事件分析

此次发布标志着Arm架构在高性能桌面级AI推理领域的进一步深化，此芯试图通过垂直整合方案挑战传统x86+GPU的算力垄断格局。AGX Station的技术亮点在于其高密度的模组化设计，在极小的体积内通过RDMA和PCIe扩展支持百亿级参数大模型的原生推理，这精准击中了隐私敏感行业及边缘计算场景对高性能本地算力的需求。配套的Agentic OS采用多智能体分布式架构，聚合多家主流大模型API，表明此芯不仅局限于芯片制造，更意在构建一个软硬一体的Agent运行环境。这种“硬件+OS+生态”的全栈能力，有助于解决当前端侧AI应用碎片化严重、异构算力调度复杂的痛点，为AI Agent从云端走向终端提供了关键的算力底座支撑。

💡 核心观点：此芯以Arm架构突围，将百亿级大模型推理能力压缩至微型桌面终端，这不仅是对“桌面算力”边界的试探，更是国产芯片厂商在端侧AI全栈整合上的关键卡位。

原文链接：Linux.do
刚刚
人类巅峰不敌AI算法：围棋第一人申真谞受让两子负于KataGo
7月17日，在纪念AlphaGo与李世乭人机大战十周年的背景下，韩国棋院主办了一场特殊的人机对抗。现世界排名第一的韩国棋手申真谞在首局较量中，以受让两子的巨大优势挑战开源围棋AI KataGo，但最终未能获胜，在第245手投子认负。本次比赛规则极具针对性：申真谞保留5小时基本用时及30秒读秒，而KataGo虽无基础用时限制，但每手棋仅有20秒思考时间。在对局过程中，KataGo展现了超越传统围棋理论的布局思路，首手落子星位，第二手即选择右上角三路高挂，这种打破常规的“AI流”下法迅速掌控了局面。尽管拥有两子的先手优势，申真谞仍无法抵御AI强大的中后盘计算能力。此次三番棋对抗的后两局将分别于19日与21日继续进行。这一事件不仅再次验证了AI在围棋领域的绝对统治力，也生动展示了过去十年间人工智能从“挑战者”演变为职业棋手“导师”的技术变迁。

事件分析

申真谞在受让两子的绝对优势下仍告负，这一结果深刻量化了当前顶级围棋AI与人类顶尖棋力之间的巨大鸿沟。在围棋博弈中，让两子通常意味着200分以上的Elo等级分差距，这标志着以KataGo为代表的开源AI模型，在算法效率和局势判断上已构建了人类无法逾越的壁垒。技术上，KataGo在限时20秒的约束下依然能通过非常规布局获胜，证明了深度强化学习模型在复杂决策空间中极高的推理效率和稳定性。从产业视角看，此次对决不仅是竞技层面的比拼，更是开源AI项目技术成熟度的展示。它表明AI已彻底改变了竞技围棋的训练范式，算法逻辑正在重塑人类对于传统博弈游戏认知的边界，确立了机器在复杂信息处理领域的统治地位。

💡 核心观点：受让两子仍败北证明了AI在复杂博弈中已彻底超越人类极限，算法逻辑正重塑传统技艺的认知边界。

原文链接：Linux.do
刚刚
无需懂Rust也能开发？开发者热议“0代码Review”时代已来临
本文源自开发者社区 Linux.do 的一场深度讨论，聚焦于在AI辅助编程日益普及的当下，开发者是否还会人工阅读AI生成的代码。讨论通过一项投票揭示了四种截然不同的工作流模式：全盘人工阅读（100%）、大致扫读（30%）、仅遇到阻滞时查看（5%）以及完全依赖AI自查（0%）。

引发热议的契机是一位开发者的亲身实践。该开发者利用AI辅助，使用自己完全不通晓的 Rust 语言成功开发出一款可用的桌面截图软件，实现了真正意义上的“0代码阅读”。此外，在另一款使用 Godot 引擎结合 GPT 开发的游戏中，人工代码阅读的比例也仅为 5%。这些案例生动地展示了当前AI编程工具的强大潜力——开发者即便不了解底层语言语法，仅凭借自然语言交互和逻辑判断，也能交付复杂软件。

这一现象引发了业界对于“0代码Review时代”是否已经到来的思考。随着大模型能力的跃升，代码审查的标准正从语法正确性转向功能可用性。讨论不仅折射出个体生产力的爆发，更预示着软件工程流程可能面临重构，人类在开发链路中的角色正逐步从代码编写者向更高维度的系统架构者与需求定义者转变。

事件分析

这一事件标志着软件开发工作流的根本性范式转移，验证了“Vibe Coding”（氛围编程）模式的可行性。从技术角度看，大模型在多语言代码生成和上下文理解方面的能力，已允许开发者绕过具体的语法细节，直接通过自然语言描述逻辑来构建应用。这种转变极大地降低了技术门槛，使得跨语言开发成为可能，释放了创造力。

然而，“0代码Review”也带来了不可忽视的潜在风险。完全放弃对生成代码的人工审查，可能导致软件中引入隐蔽的安全漏洞、低效的算法逻辑或不可维护的“技术债务”。在当前阶段，AI仍可能产生“幻觉”或逻辑错误，过度依赖可能导致开发者丧失对底层逻辑的掌控力。产业层面，这将推动开发工具从辅助补全向全流程自动化演进，未来的核心竞争力可能不再是语法熟练度，而是对AI生成逻辑的验证能力与对业务需求的精准拆解。

💡 核心观点：AI编程正推动开发者从“代码编写者”向“结果验收者”转型，软件开发的“黑盒化”与信任机制重构已成定局。

原文链接：Linux.do
刚刚
大模型智能体记忆管理插件OpenViking上线云服务，解决持久化难题
近日，技术社区Linux.do上出现了关于火山引擎旗下大模型智能体记忆管理插件OpenViking的热烈讨论。该插件此前已在GitHub开源，旨在为大模型应用提供长期的记忆管理能力，解决智能体在多轮对话中无法有效保留和调用上下文信息的技术痛点。据发帖者反馈，此前开源版本虽功能强大，但对大模型API接口依赖较重，且由于API成本较高及国内访问渠道的不稳定性，导致部分开发者在实际部署时面临挑战。目前，OpenViking官方已正式推出云服务版本（OpenViking Service），标志着该项目从纯开源工具走向商业化云服务。该云版本的发布旨在降低开发者的接入门槛，通过提供稳定的服务端支持，规避自建过程中可能遇到的高昂API费用和网络连接问题。这一举措对于推动AI Agent从简单的对话机器人向具备“长期记忆”的智能助手演进具有重要意义，有助于开发者构建更复杂、更连贯的AI应用。

事件分析

OpenViking从开源转向云服务模式，反映了当前AI智能体开发中“记忆”组件的重要性日益凸显。大模型本身是无状态的，如何让Agent记住用户偏好、历史任务和上下文信息，是迈向高级AI应用的关键基础设施。传统的RAG（检索增强生成）或向量数据库方案往往需要较高的运维成本，OpenViking Service的推出实际上是在提供“托管式”的记忆层解决方案。这类似于将传统的本地数据库托管至云服务商，使得开发者可以专注于业务逻辑而非底层维护。对于行业而言，这预示着AI开发链路的进一步细分，未来可能出现更多专注于Agent状态管理、记忆存储的专业化SaaS服务，从而加速AI智能体的规模化落地。

💡 核心观点：OpenViking推出云版本标志着AI智能体开发从“模型为中心”向“记忆与状态管理为中心”的架构转型，降低了Agent持久化能力的落地门槛。

原文链接：Linux.do
刚刚
谷歌收紧 AI 服务风控：开发者反馈 Gemini 访问验证变严
近日，在 Linux.do 技术社区有开发者反馈，谷歌旗下的 Gemini AI 服务似乎大幅收紧了针对非官方支持区域的访问控制策略。据该用户描述，此前通过自行搭建的 IP 开启 Tun 模式可以正常使用的环境，近期突然失效。错误提示将问题归咎于账号异常，但经用户排查，发现系统地区设置虽已更改为美国，但实际检测结果显示账号区域仍锁定在中国。值得注意的是，该用户表示此前并未遇到如此严格的限制，且在美国服务器环境下通过 CLI（命令行界面）仍可正常调用。这一现象表明，谷歌正在加强账号层面的地缘风控，不仅仅是简单的 IP 拦截，而是结合账号注册信息、登录行为及系统环境进行多重验证。对于习惯通过技术手段访问海外 AI 服务的国内开发者和极客用户而言，这意味着单纯修改网络出口或伪装系统定位已难以绕过检测，未来可能不得不依赖服务器中转或申请正规的企业级 API 密钥来维持服务稳定性。

事件分析

从技术层面来看，这反映了大模型厂商在算力成本与合规压力双重驱动下的风控升级。Gemini 此次封堵的逻辑似乎从单纯的 IP 黑名单机制，转向了更深度的账号画像关联分析，能够穿透部分网络伪装手段。这种趋势对于依赖免费或个人账号进行 AI 应用开发的个人开发者构成了严峻挑战。随着 OpenAI、谷歌等巨头逐步关闭低成本“后门”，AI 开发者生态将面临洗牌，个人用户的访问门槛显著提高。未来，单纯靠“薅羊毛”或简单代理模式将难以为继，通过正规渠道租赁海外算力或使用官方 API 将成为主流，这也将间接增加 AI 创业初期的基础设施成本。

💡 核心观点：AI 巨头收紧跨区域访问控制已成定局，开发者需从依赖“免费账号”转向构建合规的 API 调用链路以应对风控升级。

原文链接：Linux.do
刚刚

GLM Claude Code · 国产平替不封号

官方 Claude Code 又涨价又要 KYC,封号还得重配环境?智谱 GLM 兼容 Claude Code,稳定不封号、价格友好,注册后把现有 Claude Code 工作流直接切过来继续用。

立即体验 GLM查看套餐价格

十年老卡Tesla K80成功运行256k上下文大模型，算法优化突破硬件瓶颈

相关推荐

作者介绍

Toy

置顶推荐

前沿哨所

Kimi网页端被指存在严重内存泄露，占用资源引用户吐槽

事件分析

此芯发布AGX Station：基于Arm架构的“桌面级AI超算”，支持150B大模型本地推理

事件分析

人类巅峰不敌AI算法：围棋第一人申真谞受让两子负于KataGo

事件分析

无需懂Rust也能开发？开发者热议“0代码Review”时代已来临

事件分析

大模型智能体记忆管理插件OpenViking上线云服务，解决持久化难题

事件分析

谷歌收紧 AI 服务风控：开发者反馈 Gemini 访问验证变严

事件分析

最新文章

热门专题

热门标签

网站统计

GLM Claude Code · 国产平替不封号

官方 Claude Code 又涨价又要 KYC,封号还得重配环境?智谱 GLM 兼容 Claude Code,稳定不封号、价格友好,注册后把现有 Claude Code 工作流直接切过来继续用。