颠覆传统算力?Taalas将大模型“刻入”硅片,视频生成速度或迎质变
针对当前大模型推理成本高昂且速度受限的痛点,芯片初创公司Taalas提出将大模型(LLM)完整“刻”进硅片的激进方案。该技术通过将模型权值直接固化在专用芯片中,绕过通用GPU的存储墙,有望实现计算效率的指数级提升。业界分析认为,若此技术应用...
标签索引
这个标签下有 3 篇文章。按时间回看相关判断与实践记录。
标签精选
针对当前大模型推理成本高昂且速度受限的痛点,芯片初创公司Taalas提出将大模型(LLM)完整“刻”进硅片的激进方案。该技术通过将模型权值直接固化在专用芯片中,绕过通用GPU的存储墙,有望实现计算效率的指数级提升。业界分析认为,若此技术应用...
AI 硬件领域迎来新突破,Taalas 发布首款产品 HC1,搭载 Llama 3.1 8B 模型。该设备实现了惊人的推理速度,达每用户每秒 17,000 tokens,较现有技术快近 10 倍。同时,HC1 将制造成本降低了 20 倍,功...
多伦多初创公司 Taalas 正式发布首款基于自研 HC1 平台的专用 ASIC 加速卡,通过“存算合一”技术将 Llama 3.1 8B 模型完全硬件化。该方案声称推理吞吐量达每秒 1.7 万 token,成本和功耗较同类 GPU 方案分...