标签索引

低延迟

这个标签下有 5 篇文章。按时间回看相关判断与实践记录。

标签精选

打破性能极限：利用C++23实现56ns超低延迟跨语言IPC通信

本文介绍了一种突破性的跨语言进程间通信（IPC）库，旨在实现内存级别的通信速度。该技术完全绕过内核调用，消除了序列化开销，在标准CPU上实现了56.5纳秒的P50往返延迟。其核心架构采用严格的单生产者单消费者（SPSC）拓扑，通过硬件优化的...

2026-04-191 分钟阅读140 阅读

作者详细记录了从零构建低延迟语音代理的全过程，通过利用Groq的高推理速度、Deepgram Flux的流式转录以及优化WebSocket架构，最终实现了约400ms的端到端响应速度。实测表明，这种自建方案比现成的Vapi平台快了两倍。文章...

2026-03-031 分钟阅读95 阅读

这篇文章分享了作者从零构建低延迟语音助手的实测经验。不同于以往依赖 LiveKit 等现成框架，本次尝试完全基于纯 API 调用搭建，旨在探索性能极限。测试结果显示，得益于 Google Gemini 2.5 Flash Lite 的出色推...

2026-02-181 分钟阅读151 阅读

本文详细阐述了 Compyle 如何将 AI 开发沙箱的终端延迟从 200ms 以上降低至 14ms 的技术历程。最初架构因中间件层和单区域部署导致启动慢、延迟高。通过引入 Warm Pool 解决冷启动，移除 Socket 服务器以减少网...

2026-01-241 分钟阅读228 阅读

OpenAI 宣布与 AI 芯片厂商 Cerebras 签署价值 100 亿美元的算力协议，计划购入 750 兆瓦推理算力。Cerebras 凭借其独特的巨型芯片架构，有效解决了传统硬件瓶颈，能显著提升 AI 模型的响应速度。此次合作旨在将...

2026-01-151 分钟阅读223 阅读