Taalas新架构实现每秒1.7万Tokens推理，推动AI走向普及

AI芯片初创公司Taalas发布了一项技术突破，声称其新型架构能够实现每秒17000个Tokens的推理速度，远超当前通用GPU水平。该公司致力于解决大模型部署的高能耗和高成本问题，通过创新的数据流架构打破“内存墙”，将计算与存储深度融合。这一进展意味着Llama-70B等大模型未来有望运行在边缘设备上，推动AI从数据中心走向无处不在的普及应用。