DeepSeek 针对英伟达 H100 进行底层优化，修复关键推理内核崩溃问题
DeepSeek 近日频繁更新其 GitHub 仓库，显示出对底层基础设施的持续重视。主要更新集中在 DeepGEMM 项目，开发者修复了在英伟达 H100 显卡上运行 FP8 GEMM 内核时特定尺寸（n=768）下可能发生的崩溃问题。此...
标签索引 / 第 7 页
AI基础设施
这个标签下有 83 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
【开源工具】开发者自建cliproxyapi凭证批量管理器：支持自动校验与TG推送
针对AI开发者管理API凭证的痛点，一款名为“cliproxyapi凭证批量管理器”的开源工具近日在GitHub上发布。该工具旨在填补官方功能的缺失，采用TUI交互界面，具备定时检查凭证有效性、自动推送到Telegram、以及批量清理过期或...
YC 孵化 AI 新星 Zep 高薪招聘：专注“上下文图谱”，年薪最高 25 万美元
Y Combinator 2024 冬季营项目 Zep AI 正在招聘工程师，年薪范围 17.5 万至 25 万美元。该公司专注于构建“上下文图谱”，致力于解决大语言模型（LLM）的记忆与状态管理难题。作为 AI 基础设施领域的创新者，Ze...
未来算力格局：AI厂商是否会沦为“卖水电”的新型国企？
本文深入探讨了AI行业的未来走向，指出当前各大模型在代码、前端及多模态等领域的技术路线正趋于一致。作者提出了“能源即智能”的理论，认为AI的本质是将能源转换为智能。基于此，文章预测未来算力市场将发生结构性变革：算力提供商将不再单纯比拼模型能...
开发者工具 Nerve：实时整合多源数据，打造统一“超级 API”
Nerve 是一款独立开发的开发者工具，旨在解决 AI 等高杠杆项目中多源数据整合的难题。它能够实时将来自多个系统的数据拼接成一个统一的“超级 API”。与传统的数据仓库方案相比，Nerve 无需搬运数据，避免了数据滞后和不一致的风险，同时...
极简主义新尝试：一个仅头文件的C语言向量数据库库
近日，GitHub上一个名为“仅头文件的C语言向量数据库”的项目在Hacker News引发热议。该项目提供了一种极致轻量级的向量检索解决方案，开发者仅需包含单个头文件即可在C语言环境中使用，无需复杂的构建流程。在评论区，用户将其与当下Ku...
官方订阅难、中转服务频暴雷，开发者转向自建 Claude API 服务
随着 Claude 在开发者群体中的普及，API 服务的稳定性成为新的痛点。由于官方官方订阅门槛较高，且市面上的第三方 API 中转服务频繁出现“跑路”或断连情况，部分资深用户开始探讨绕过中间商，利用 Azure 或 AWS 等云平台直接自...
AI绘图“炸机”惊魂：博主以为是硬件故障，猫咪却意外找出了真凶
一位开发者尝试在本地运行 Stable Diffusion 时，电脑突然发出刺耳的尖叫声。在排查了显卡啸叫、散热风扇等常见硬件故障无果后，他的猫对声源处的 UPS 电源插座表现出了攻击性，才让博主意识到并非电脑故障，而是 UPS 因不堪重负...
Anthropic承诺承担数据中心电网升级费用，防止AI推高居民电价
面对AI算力爆发带来的巨大能源挑战，Anthropic发布新政策，承诺将全额承担其数据中心引发的电网基础设施升级费用，防止电价上涨波及普通消费者。随着训练前沿模型需要吉瓦级电力，新增数据中心往往需要昂贵的传输线升级并推高市场价格。Anthr...
专为AI代理打造：Pydantic推出Rust版Python解释器Monty，兼具极致速度与安全隔离
知名Python数据验证库Pydantic的开发商近日发布了一款名为Monty的实验性Python解释器。该工具基于Rust语言重写，专为服务AI代理（LLM Agents）设计，旨在解决大模型执行代码时的安全性与效率痛点。Monty的启动...