云聚 AI Token Plan 满 199 减 35 元
port:80 AI Junkie
AI 重度玩家的工程笔记本
DigitalOcean 开发者云
Anyrouter 开放可编程的智能路由
共 12 篇文章

标签:vLLM

让 Agent 跑得快:LLM 推理服务-80aj

让 Agent 跑得快:LLM 推理服务

作者:toy 一个 Agent 工作流,最终的性能瓶颈往往不在路由逻辑、工具调用,而在 LLM 推理本身。同样的模型,同样的硬件,不同的推理框架可以带来 10 倍以上的吞吐差距。这篇文章讨论推理服务的底层机制,以及三个主流框架:vLLM、S...

赞(0)ToyToyAI 阅读(118)

趣味开源项目:基于vLLM的实时AI颜文字相机

开发者For-The-Zero在GitHub发布了一款名为“Kaomera”的趣味AI相机项目。该工具利用vLLM技术,能够实时捕获摄像头画面,并将其转化为富有表现力的颜文字。该项目不仅展示了vLLM在多模态推理上的低延迟性能,也为AI交互...

赞(0)ToyToy前沿 阅读(139)

GLM Claude Code · 国产平替不封号

官方 Claude Code 又涨价又要 KYC,封号还得重配环境?智谱 GLM 兼容 Claude Code,稳定不封号、价格友好,注册后把现有 Claude Code 工作流直接切过来继续用。

立即体验 GLM查看套餐价格