字节跳动发布USDB论文：推荐系统存储写入延迟降85.8%、成本降42.1%

字节跳动发布论文USDB，介绍其面向下一代推荐系统的统一序列存储架构。随着推荐模型消费的用户行为序列越来越长、属性越来越丰富，存储层面临高频小写入与反复大读取的不对称挑战。USDB针对流式与批式两类负载提出一体化方案：CascadeLSM按时间分层的压缩机制将应用侧历史序列物化为多级结构；差异化副本间共享持久化文件以降低冗余；部分转储机制可基于捕获的近期状态与版本化历史重建推理输入；混合列式存储格式加速投影读取。这些设计让维护成果在数据摄取、推理与训练之间复用。生产环境迁移数据显示，USDB将平均写入延迟降低85.8%，基础设施成本降低42.1%。与优化后的RocksDB序列存储基线进行受控对比，USDB在多种投影与客户端负载下均实现更快的长历史读取。聚合下推技术在受限接收预算下达到普通读取8.5倍的吞吐量。论文还展示了生产环境重建与直连文件训练的结果，证明共享序列维护可同时支撑新鲜的在线服务与反复的历史访问。该论文共17页，含18幅图与5张表。

事件分析

这篇论文披露了字节跳动推荐系统底层存储的工程细节，其价值在于真实生产数据而非纯架构构想。推荐业务需处理海量用户行为序列，通用LSM引擎（如RocksDB）在持续小更新与批量大读取并存的场景下逐渐力不从心，USDB的CascadeLSM分层压缩、副本文件共享与混合列式格式均是针对该痛点的定制改造。写延迟下降85.8%与成本下降42.1%的数字若经严格的归一化核算，对同等规模企业具备直接参考价值。产业层面，这反映出头部公司正从通用组件加调优转向场景专用自研，存储层正成为推荐系统仅次于模型本身的隐性竞争力。后续值得关注：是否开源、混合列式格式会否被更多特征平台采纳，以及训练直读文件模式对离线训练架构的影响。

核心观点：推荐系统的竞争已从算法模型下沉到存储基础设施，场景专用自研正在取代通用组件调优，成为新的护城河。