突破性AI架构“三元Bonsai”：仅用1.58比特维持顶尖智能水平
本文介绍了一种名为“三元Bonsai”（Ternary Bonsai）的新型AI计算架构，旨在解决大语言模型（LLM）在资源受限环境下的部署难题。该技术突破了传统二进制的限制，利用三进制逻辑（-1, 0, 1）将模型权重的精度压缩至理论极限...
标签索引
芯片优化
这个标签下有 3 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
利用AVX-512加速IPv6路由查找：线性化B+树算法实测
该项目在GitHub上发布了一种利用AVX-512指令集优化的IPv6最长前缀匹配（LPM）算法，采用线性化B+树结构以提升缓存友好性。该实现为符合C++17标准的“净室”代码，包含SIMD加速路径与标量回退方案，并支持无锁查找及动态FIB...
PrismML 发布首批商用 1-bit LLM Bonsai：内存骤降 14 倍，重塑端侧 AI 效率
AI 初创公司 PrismML 宣布推出首批“商业可行”的 1-bit 权重大语言模型——1-Bit Bonsai 系列。该模型基于加州理工学院的突破性研究，通过极致的量化技术，在不牺牲精度的前提下实现了极高的智能密度。数据显示，其 8B ...