DuckDB大文件分页指南：为何file_row_number完胜OFFSET

文章深入探讨了在DuckDB中处理大型Parquet文件分页请求时的最佳实践与陷阱。针对在无状态API中分块返回大量数据的需求，虽然使用SQL标准的`LIMIT/OFFSET`是直观做法，但实测表明其在包含多个行组的文件中表现不佳。通过对比发现，利用DuckDB特有的`file_row_number`属性构建行范围过滤器，性能上比`OFFSET`快2.53倍。更严重的是，`OFFSET`在关闭插入顺序保留并开启多线程时，会静默返回重复或缺失的行，导致约30%的数据损坏，且仅靠行数校验无法察觉。相比之下，`file_row_number`基于文件物理位置，能精确跳过无关行组，保证了在任意并发设置下的数据一致性与完整性。

事件分析

💡 核心观点：OFFSET在DuckDB分页中不仅性能低劣，在特定并发下更存在静默数据损坏风险，file_row_number才是唯一可靠解。