AirLLM 是一个开源推理库，通过逐层加载权重的方式，让 70B 乃至数百 B 参数的大模型在单张 4GB 显存显卡上运行，无需量化、蒸馏或剪枝，近期还扩展了低显存训练支持。
项目做什么
项目目标是降低大语言模型推理与微调的显存门槛，使个人开发者或小规模环境也能运行超大模型。它把完整模型按层切分保存，每次只将当前层加载到 GPU，因此显存需求取决于单层规模而非模型总参数量。README 给出了 70B、671B、2.8T 等模型在 4GB 至 12GB 显存下运行的示例，并说明需要预留磁盘空间用于存放拆分后的模型。
与同类方案相比
核心优势是显存占用低且对模型改动小。README 声称无需量化、蒸馏或剪枝即可运行 70B 模型于 4GB 显卡，并列出多种模型在特定显存下的运行数据，如 671B 约 12GB、部分 MoE 模型约 3GB。它提供统一的 AutoModel 接口，用户传入 Hugging Face 仓库 ID 即可使用，并支持 4bit 与 8bit 块状量化以压缩磁盘加载体积；此外还支持 macOS 和 CPU 推理。但这些数字多为项目自述，尚无独立第三方验证。
设计与创新
其宣称的独特之处在于以磁盘流式逐层加载替代显存驻留，并把优化重点放在模型加载带宽而非激活值量化上，从而只量化权重、降低精度损失风险。README 还提到针对 MoE 模型只加载 token 实际路由到的专家，以及用预取机制重叠加载与计算以提升速度。v2.0 引入的块状量化据称可带来约三倍推理加速。不过这些机制的具体实现细节和真实收益，需结合论文与代码进一步核实，README 的表述无法独立证实。
适用场景
适合显存受限但希望本地运行超大模型的场景，例如单卡 4GB 至 12GB 的个人工作站、消费级游戏显卡、Apple Silicon 的 Mac，以及需要处理 70B、405B、671B 这类模型的研究或验证任务。也适用于在少量显存下做 LoRA 微调，README 声称 125B 模型可在 6GB 以下训练、27B 模型在约 2GB 训练。由于依赖逐层磁盘读取，对小模型批量高吞吐服务并不一定合适。
谁会受益
对显存有限的大模型爱好者和研究者具有实用价值：安装简单，通过 pip 安装后可用一行代码调用多种主流模型，且同时覆盖推理与训练两类流程。它降低了尝试大模型的硬件门槛，也让老旧或入门级 GPU 能参与实验。是否真正可用、速度是否可接受，取决于磁盘读取速度与具体模型结构；README 提供的显存数字可作为初步参考，但实际表现仍需按自身硬件测试确认。
使用前需要注意
README 指出推理前会先分解并保存逐层模型，需要充足磁盘空间，并提示磁盘不足可能导致 MetadataIncompleteBuffer 错误。逐层加载意味着推理速度受磁盘吞吐限制，可能明显慢于模型常驻显存的方式；部分新模型还依赖特定 transformers 版本、flash-attn、CUDA 版本或源码安装，环境配置较复杂。训练部分明确不是 Hugging Face Trainer 或 bitsandbytes QLoRA。代码许可证为 Apache 2.0，但其 README 中的链接指向其他仓库，许可证信息需以仓库实际文件为准。相关性能声明与竞品比较尚未经独立验证。
本文基于抓取时的项目 README 和仓库简介整理；功能、限制与文档可能随项目更新而变化。