跳到主要内容
赞助推荐 Claude Team 合租,少折腾账号
前沿哨所

实测 AMD Strix Halo:128GB 统一内存加持下的 ROCm 与大模型初体验

1 分钟阅读阅读(360)
赞助推荐 团队协作里的 AI 办公工作台

本文分享了作者在 AMD Strix Halo 硬件上部署 ROCm 软件栈并进行 AI 开发的详细实战记录。文章指出,通过 Ubuntu 24.04 LTS 系统,配合 BIOS 更新与 Grub 参数调优(如 amdgpu.gttsize),成功实现了 128GB 内存在 CPU 与 GPU 间的高效共享。作者演示了如何配置 PyTorch 及 Triton 环境,并利用 Llama.cpp 成功在本地运行了 Qwen 3.6 大模型。尽管 ROCm 在依赖管理和显存分配上仍存在一些技术门槛,但 Strix Halo 展现出的统一内存架构优势,使其在本地大模型推理场景中表现出了极高的性价比和可用性。

原文链接:Hacker News

赞助推荐 一人公司 · 创业装备库
赞助推荐 一人公司 · 创业装备库
赞助推荐 一键部署 AI 大模型
赞助推荐 一键部署 AI 大模型
赞(2)
未经允许不得转载:80aj » 实测 AMD Strix Halo:128GB 统一内存加持下的 ROCm 与大模型初体验
赞助推荐 低成本上手 Claude Code 的中转选择
赞助推荐 低成本上手 Claude Code 的中转选择
赞助推荐 一键部署 AI 大模型
赞助推荐 一键部署 AI 大模型