社区热议:国产AI芯片推理效率成谜,能否撑起万亿参数大模型
随着国内大模型参数量级向万亿(如Kimi K2.5)迈进,开发者社区对国产AI芯片(昇腾、寒武纪、平头哥)的关注焦点,正从“能否兼容部署”转向“推理效率几何”。目前业界现状显示,尽管国产硬件不断迭代,但在开源大模型(200B至1T参数规模)...
随着国内大模型参数量级向万亿(如Kimi K2.5)迈进,开发者社区对国产AI芯片(昇腾、寒武纪、平头哥)的关注焦点,正从“能否兼容部署”转向“推理效率几何”。目前业界现状显示,尽管国产硬件不断迭代,但在开源大模型(200B至1T参数规模)...
知名工作站厂商 Puget Systems 发布了 2025 年度硬件可靠性报告,基于数万台设备的实际运行数据,深度分析了 CPU、GPU 及新兴 NPU 的返修率。报告不仅揭示了传统芯片的稳定性排行,更特别针对 AI 硬件(如集成 NPU...

ECS / OSS / CDN / 云数据库一站采购,常用云资源集中选配;新用户与续费均有专场优惠,适合个人开发者与小团队长期使用。
图灵奖得主David Patterson与Xiaoyu Ma联名撰文,深入剖析了大语言模型推理硬件面临的严峻挑战。文章指出,由于自回归解码阶段的特性,LLM推理与训练存在根本差异,当前的主要瓶颈已从计算能力转变为内存容量和互连带宽。为此,作...
KAIST教授预测,高带宽闪存(HBF)市场规模有望在12年内超越HBM。三星、SanDisk计划在2028年前将HBF集成至Nvidia、AMD和Google的产品中。HBF将作为GPU的中间存储层,连接HBM与网络存储,单单元容量达51...
近日,有开发者在OpenAI Codex中发现模型ID显示为“gpt-5.2-xhigh”,其推理速度出现暴涨,思考过程呈现“刷屏”般的生成效果。用户推测这与近期OpenAI与AI芯片巨头Cerebras签署的100亿美元合作协议有关。该协...
OpenAI 宣布与 AI 芯片厂商 Cerebras 签署价值 100 亿美元的算力协议,计划购入 750 兆瓦推理算力。Cerebras 凭借其独特的巨型芯片架构,有效解决了传统硬件瓶颈,能显著提升 AI 模型的响应速度。此次合作旨在将...
美国众议院通过《远程访问安全法案》,旨在封堵算力出口管制漏洞。法案将“远程访问”纳入出口管制体系,禁止外国实体在未获许可情况下,通过云服务远程使用美国本土的高端AI芯片和算力。无论设备位于何处,只要涉及向敏感国家或受限实体提供受管制算力接口...
本文详细记录了作者以有限预算完成ASIC流片的全过程,涵盖设计挑战、成本优化、制造流程及经验总结。针对AI芯片开发需求,文章分享了如何利用开源工具和精简策略降低流片门槛,为关注硬件创新的读者提供实用参考。内容涉及芯片设计细节、预算控制技巧,...
AMD于2025年8月发布了使用MI300X芯片部署GPT-OSS-120B模型的方案,并构建了一个演示聊天机器人。该模型响应速度快,支持自定义提示、温度设置等参数,适合沉浸式翻译等应用场景。然而,该技术似乎在行业内讨论热度不高,引发关注。...
雅虎财经报道,CNBC证实,英伟达公司已宣布以200亿美元全现金收购高性能人工智能加速芯片设计公司Groq。这笔交易是英伟达历史上规模最大的收购案,标志着其在AI芯片领域的重要扩张。Groq以其创新的加速器技术闻名,此次收购将进一步强化英伟...