算力革命？Taalas芯片实现每秒1.7万tokens推理，揭秘LLM“打印”技术
初创公司Taalas发布了一款定制ASIC芯片，成功在Llama 3.1 8B模型上实现了每秒17000个token的惊人推理速度，性能相当于一秒钟生成约30页A4纸内容。该公司宣称其核心技术在于将大模型权重直接“打印”或硬化到芯片架构中。...
标签索引 / 第 3 页
大模型推理
这个标签下有 29 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
硬核突破：单张RTX 3090运行Llama 3.1 70B，NVMe直连GPU绕过CPU
NTransformer 是一款高效能 C++/CUDA 推理引擎，通过创新的 PCIe 流式传输和 NVMe Direct I/O 技术，成功在单张 RTX 3090（24GB 显存）上流畅运行 Llama 3.1 70B 大模型。该技术...
Taalas新架构实现每秒1.7万Tokens推理，推动AI走向普及
AI芯片初创公司Taalas发布了一项技术突破，声称其新型架构能够实现每秒17000个Tokens的推理速度，远超当前通用GPU水平。该公司致力于解决大模型部署的高能耗和高成本问题，通过创新的数据流架构打破“内存墙”，将计算与存储深度融合。...
挑战 GPU 霸权：Taalas 推出存算一体 ASIC 芯片，成本暴降 20 倍
多伦多初创公司 Taalas 正式发布首款基于自研 HC1 平台的专用 ASIC 加速卡，通过“存算合一”技术将 Llama 3.1 8B 模型完全硬件化。该方案声称推理吞吐量达每秒 1.7 万 token，成本和功耗较同类 GPU 方案分...
谷歌 DeepThink 功能引热议：是否值得为了推理能力升级 Ultra？
随着谷歌 DeepThink 功能的更新，科技社区对 Google Ultra 订阅服务的性价比展开了讨论。DeepThink 作为谷歌在 AI 推理领域的新尝试，旨在通过展示模型思考过程来解决复杂逻辑问题。目前的社区反馈显示，虽然该功能在...
从代码流水账到全局规划：用户观察发现 Claude Opus 思维逻辑发生质变
有资深用户在技术社区指出，Anthropic 的 Claude Opus 模型在思考模式上展现了显著进化。与早期模型常在思考链中直接编写代码导致频繁超时不同，现阶段的 Opus 更倾向于像碳基生物一样，在思考阶段进行任务拆解与全局规划，随后...
社区热议：国产AI芯片推理效率成谜，能否撑起万亿参数大模型
随着国内大模型参数量级向万亿（如Kimi K2.5）迈进，开发者社区对国产AI芯片（昇腾、寒武纪、平头哥）的关注焦点，正从“能否兼容部署”转向“推理效率几何”。目前业界现状显示，尽管国产硬件不断迭代，但在开源大模型（200B至1T参数规模）...
实测AI应用成本：OpenClaw单日消耗5000万Tokens，后台“待机”太烧钱
一位开发者在社区分享了名为OpenClaw的AI项目运行账单，引发关注。该项目仅使用Gemini 3 Flash模型处理基础后台任务，在近乎“待机”的状态下，单日竟消耗了约4000万至5000万Tokens，成本达11美元。这一实测数据直观...
GLM-4.6实现Claude Code思维链功能：技术解析与实战指南
本文详细介绍了GLM-4.6模型在Claude Code环境中实现思维链功能的技术方案。作者通过分析官方文档发现，虽然GLM-4.5及以上模型默认支持思考功能，但在Claude Code的提示词干扰下，模型很少进行思考。针对这一问题，作者开...