硬核挑战：如何在仅32MB内存的PS2主机上运行大语言模型？

一位开发者成功克服了PlayStation 2仅32MB内存的硬件限制，在真机上运行了自研的10M参数语言模型。其核心创新在于“流式加载”：在推理过程中从CD-ROM逐矩阵读取权重，仅在内存中保留激活值和KV缓存，从而突破物理内存瓶颈。为此，开发者构建了自定义量化格式PSNT，解决了字节序问题并重写了大部分SDK。这一项目展示了在极度受限的复古硬件上运行现代AI算法的潜力。