算力革命？Taalas芯片实现每秒1.7万tokens推理，揭秘LLM“打印”技术
初创公司Taalas发布了一款定制ASIC芯片，成功在Llama 3.1 8B模型上实现了每秒17000个token的惊人推理速度，性能相当于一秒钟生成约30页A4纸内容。该公司宣称其核心技术在于将大模型权重直接“打印”或硬化到芯片架构中。...
标签索引
算力加速
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
初创公司Taalas发布了一款定制ASIC芯片，成功在Llama 3.1 8B模型上实现了每秒17000个token的惊人推理速度，性能相当于一秒钟生成约30页A4纸内容。该公司宣称其核心技术在于将大模型权重直接“打印”或硬化到芯片架构中。...