挑战 nvidia-smi：开源工具 Utilyze 揭露 GPU 真实算力利用率
当前主流的 GPU 监控工具（如 nvidia-smi、nvtop 及云厂商监控面板）存在严重的误导性缺陷：它们仅报告“内核运行时间占比”，导致即便 GPU 实际算力仅被利用了 1%，仪表盘也可能显示 100% 利用率。这种“伪饱和”现象极...
标签索引 / 第 2 页
AI基础设施
这个标签下有 83 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
搭建 AI API 中转站：500 用户级服务器配置与线路选择指南
本文针对运行 Sub2API/New API 等面板的 AI API 中转业务，探讨了服务器资源的优化配置方案。分析指出，对于此类纯流量转发业务，网络带宽和线路质量往往是比 CPU 核心数或硬盘 IO 更关键的瓶颈。文章结合 500 用户的...
开源 LLM 网关推荐：解决多模型接入、计费与负载均衡的一站式方案
随着大模型应用的普及，企业往往需要同时接入 OpenAI、Claude、Gemini 等多种模型，面临着协议不统一、计费管理复杂及运维成本高昂等痛点。近期，技术社区推荐了几款优秀的开源 LLM 网关项目，如 APIPark 和 new-ap...
拒绝单点故障：个人API中转站的微服务化拆分实战
本文分享了自建 AI API 中转站的架构优化经验。作者反思了初期将多个服务混部在单台服务器上导致的故障排查难、维护混乱等问题，最终采用了“一机一职”的隔离策略。通过将注册机、管理中心、中转层和网关入口分别部署在四台独立服务器上，成功厘清了...
OpenAI 服务再现大规模宕机，500 故障码引发用户担忧
据科技社区反馈，OpenAI 相关服务近日再次出现严重的稳定性问题。继昨晚大量用户遭遇 403 禁止访问错误后，今日服务端开始频繁报出 500 内部服务器错误。这种连续性的服务波动不仅影响了普通 ChatGPT 用户的体验，更对依赖 Ope...
前AWS工程师打造Smol machines：融合容器体验与微VM安全，实现亚秒级冷启动
一款名为Smol machines的新型虚拟机技术引发关注。该项目由前AWS容器团队工程师开发，旨在取代传统Docker容器。它结合了容器的易用性与虚拟机的隔离性，并声称通过精简Linux内核模块，实现了亚秒级的冷启动速度。作者认为Fire...
用户吐槽 MiniMax 每日下午定点故障，质疑在高峰期占用算力训练模型
近日，V2EX 社区有用户发帖强烈吐槽国产大模型厂商 MiniMax。该用户反映，其服务每天下午 14:00 准时出现 529 错误（通常指服务过载或模型加载中），并高度怀疑官方选择在用户活跃的工作时段进行后台模型训练。文中对比京东等成熟互...
Claude Opus 遭遇服务中断？用户频繁反馈 529 过载错误
近日，大量社区用户反馈 Claude 旗舰模型 Opus 出现无法访问的情况，请求频繁返回 529 Overloaded（过载）错误。尽管 Anthropic 官方状态页面目前显示服务正常，但实际用户体验表明其基础设施可能正面临巨大的流量压...
反对AI数据中心建设，农民因在市议会发言超时被捕，誓言抗争到底
俄克拉荷马州一位农民达伦·布兰查德在市议会会议上反对“野马计划”数据中心建设时，因发言时间超过3分钟限制而被捕，并被指控非法入侵。当地居民对该数据中心的水资源消耗、电费上涨及噪音污染表示担忧。然而，开发商比尔基础设施公司拒绝接受采访，并要求...
Anthropic 遭遇重大服务故障，Claude 全线产品出现高错误率
Anthropic 官方状态页面显示，Claude.ai、API 接口及 Claude Code 目前正经历严重的错误率升高，导致服务大面积中断。主要故障表现为网页端无法访问、开发者控制台报错以及 Claude Code 登录功能失效，严重...