云聚 AI Token Plan 满 199 减 35 元
port:80 AI Junkie
AI 重度玩家的工程笔记本
DigitalOcean 开发者云
Anyrouter 开放可编程的智能路由
共 13 篇文章

标签:推理优化

英伟达突破LLM推理瓶颈:DMS技术将内存开销降低8倍

英伟达提出了一项名为动态内存稀疏化(DMS)的新技术,旨在解决大模型在进行长链思考时的内存瓶颈问题。通过高效压缩键值(KV)缓存,该技术在仅用1000步训练的情况下实现了高达80%的压缩率。实验表明,DMS允许模型在相同计算预算下生成更多T...

赞(0)ToyToy前沿 阅读(110)

GLM Claude Code · 国产平替不封号

官方 Claude Code 又涨价又要 KYC,封号还得重配环境?智谱 GLM 兼容 Claude Code,稳定不封号、价格友好,注册后把现有 Claude Code 工作流直接切过来继续用。

立即体验 GLM查看套餐价格