Intel Arc 显卡实测运行 Qwen 3.5:多模态与思维链优化实战
开源项目“Anna”近日取得突破,成功在 Intel Arc A770/A750 显卡上部署并运行 Qwen 3.5 多模态大模型。通过权重 INT4 量化、自动内存管理及针对多模态的特定分支优化,该项目在保持精度的同时,将推理速度提升至每...
标签索引
这个标签下有 2 篇文章。按时间回看相关判断与实践记录。
标签精选
开源项目“Anna”近日取得突破,成功在 Intel Arc A770/A750 显卡上部署并运行 Qwen 3.5 多模态大模型。通过权重 INT4 量化、自动内存管理及针对多模态的特定分支优化,该项目在保持精度的同时,将推理速度提升至每...
一位开发者通过编写基于PyTorch的XPU自定义算子,成功在Intel Arc A770/A750显卡上优化了Qwen 3.5多模态大模型。该项目将复杂的递推状态更新与RMSNorm计算融合为单一SYCL内核,显著降低了中间张量的调度开销...