极简纯 Java 实现大模型推理引擎：支持 PagedAttention 与连续批处理

该项目名为 vllm4j，是一个基于 Java 语言开发的大语言模型（LLM）推理引擎。作者旨在通过极简的代码实现，复现现代 LLM 推理系统中的核心技术栈。该项目核心代码量约 1500 行，实现了 PagedAttention（分页注意力）、前缀缓存、连续批处理、分块预填充及抢占恢复等现代推理服务系统的关键优化特性。在硬件层面，该项目专注于纯 CPU 环境下的推理加速，利用 Java Vector API 调用 SIMD 指令集，以此提升运算效率。灵感来源于 nano-vllm。目前，该引擎已成功支持 Qwen3 dense 系列模型，并通过 Qwen3-0.6B 模型与 HuggingFace transformers 进行了逐 token 的完全一致性验证。由于代码依赖少且结构清晰，该项目非常适合开发者用于入门学习 LLM 推理底层原理，特别是对于希望了解 Java 生态下 AI 实现的技术人员具有较高的参考价值。

事件分析

💡 核心观点：纯 Java 实现的 LLM 推理引擎填补了技术栈空白，以极简代码复现核心优化算法，降低了后端开发者掌握大模型底层技术的门槛。