苹果端侧AI重磅突破：SwiftLM融合TurboQuant技术，让Mac本地运行超百亿参数大模型
SwiftLM 是一款专为 Apple Silicon 打造的原生 Swift 推理服务器，彻底摒弃 Python 依赖，通过 Metal 实现底层性能最大化。该项目核心创新在于集成了 TurboQuant 混合 KV 缓存压缩技术，结合 ...
标签索引 / 第 2 页
大模型推理
这个标签下有 29 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
大模型应用落地痛点：推理速度慢是提示词问题还是算力短板？
某项目在使用Qwen32B大模型进行工单纠错时，尽管用户认可效果，但响应速度过慢成为阻碍业务落地的关键瓶颈。面对厂商将原因归咎于提示词设计的说法，引发了业界对于大模型优化方向的深层思考。这暴露了当前企业级AI应用中普遍面临的困境：模型精度与...
突破内存限制！新工具Hypura让普通Mac也能流畅运行70B大模型
Hypura是一款专为Apple Silicon设计的革新性LLM推理调度器，通过“存储分层感知”技术，成功突破了Mac统一内存容量的物理瓶颈。它能够智能地将模型张量分配在GPU、RAM和NVMe硬盘之间，利用高速SSD进行数据流式传输，从...
硬核玩家晒双路RTX 5090 AI工作站：全栈部署DeepSeek与Qwen模型
一位技术发烧友在 Linux.do 社区展示了其基于双路 RTX 5090 显卡和至强 W7 处理器的顶级本地 AI 工作站部署方案。该系统在 Ubuntu 22.04 环境下，利用 vLLM 框架成功运行了 Qwen3-32B、DeepS...
大模型推理优化全攻略：深度解析vLLM、量化技术与分布式部署
本资源体系化地拆解了大模型（LLM）推理优化的关键技术路径。内容涵盖从基础推理原理、KV Cache机制到PagedAttention、FlashAttention等运行时加速方案；深入剖析了AWQ、GPTQ等模型量化与压缩技术，并提供了v...
Claude Code 展现硬核推理力：38秒思考破解“硬币悖论”数学难题
近日，Hacker News社区上一则关于Claude Code的讨论引发了广泛关注。一名用户向Claude抛出了一道极具欺骗性的数学概率题：“持续抛硬币直到正面次数超过反面次数，问停时为偶数的概率是多少？”Claude并没有被表象迷惑，在...
解决长文本瓶颈！清华智谱联手发布IndexCache，大模型推理提速近一倍
清华大学与智谱研究团队联合推出名为IndexCache的创新技术，旨在突破大语言模型在处理长文本任务时的效率瓶颈。该技术聚焦于稀疏注意力机制，通过在不同模型层之间实现“跨层索引复用”，在几乎不牺牲模型性能的前提下，显著降低了索引计算开销。实...
Tab补全的黄昏？Agent时代下编程模型的快慢权衡
随着Agent工具的兴起，传统的Tab键代码补全模式正面临挑战。一方面，GitHub Copilot目前采用的模型被指能力稍显过时；另一方面，现有的顶尖代码大模型虽然智能但参数庞大、响应迟缓，难以胜任需要极低延迟的补全场景。这一现状引发了开...
DeepSeek联合北大清华推出DualPath系统，破解AI Agent大模型存储带宽瓶颈
北京大学、清华大学与DeepSeek-AI联合研究团队发布了名为DualPath的全新推理系统，旨在解决智能体工作负载下大语言模型面临的KV-Cache存储I/O带宽受限难题。在解耦架构日益普及的背景下，海量KV-Cache数据的加载速度严...
颠覆传统算力？Taalas将大模型“刻入”硅片，视频生成速度或迎质变
针对当前大模型推理成本高昂且速度受限的痛点，芯片初创公司Taalas提出将大模型（LLM）完整“刻”进硅片的激进方案。该技术通过将模型权值直接固化在专用芯片中，绕过通用GPU的存储墙，有望实现计算效率的指数级提升。业界分析认为，若此技术应用...