跳到主要内容
赞助推荐 Claude Team 合租,少折腾账号
>80aj_
赞助推荐 开放可编程的智能路由
赞助推荐 开放可编程的智能路由

标签索引

模型部署

这个标签下有 12 篇文章。按时间回看相关判断与实践记录。

标签精选

相关内容

前沿哨所

硅基流动神速上线GLM-5.1,打破大模型部署滞后常态

据社区反馈,硅基流动(SiliconFlow)平台已迅速跟进并上线了智谱AI最新发布的GLM-5.1大模型。与以往该平台在模型部署上存在明显滞后的印象不同,此次更新反应极其迅速,引发了技术社区的广泛关注与讨论。这一转变不仅体现了平台方对头部...

1 分钟阅读246 阅读
前沿哨所

实战部署Qwen3.5-27B:vLLM参数配置差异与优化指南

随着通义千问Qwen3.5-27B模型的发布,社区在利用vLLM框架进行高性能部署时遇到了配置难题。本文针对官方文档与vLLM文档在启动命令上的不一致性进行了对比分析,重点探讨了Data Parallelism (dp)、专家并行(enab...

1 分钟阅读112 阅读
前沿哨所

Gemini-3-Flash API调用失败:部署问题分析

在部署谷歌Gemini模型gemini-balance时,用户报告调用gemini-3-flash-preview API时频繁遇到429错误,表明请求被拒绝。有趣的是,API key验证通过,且在谷歌AI Studio中成功调用了一次模型...

1 分钟阅读201 阅读
前沿哨所

利用Kaggle免费GPU运行Devstral-2-Small模型教程

本文介绍了如何在Kaggle平台上利用免费GPU资源运行Devstral-2-Small模型(28B参数量)。作者分享了周末开发的技术笔记,该笔记提供了OpenAI兼容接口,并具备工具调用能力。用户只需获取NGROK_AUTHTOKEN,按...

1 分钟阅读185 阅读