Magnitude 是一款用 Rust 编写的开源本地推理引擎，可分析用户现有硬件并推荐适配的开源模型，再针对具体硬件完成调优，支持 Apple Silicon、NVIDIA、AMD 及纯 CPU 环境，并通过一键连接常用智能体。
项目做什么
该项目的目标是让开发者无需更换硬件即可运行本地大模型。它会先对机器做硬件画像，评估各模型在目标设备上的运行表现，再推荐合适模型并完成下载、调优与运行；同时提供桌面应用与随附的 magnitude CLI，用于连接用户已在使用的智能体工具，从而把模型选择与部署流程集中到一处，减少手动判断配置的步骤。
与同类方案相比
按照 README 描述，其优势集中在免判定硬件选型、下载前的速度估算、面向具体硬件的端到端调优（含投机解码）、一键连接 Pi、OpenCode 等智能体、无 token 费用与 API 密钥、提示词与文件本地留存且可离线运行、按需加载与空闲卸载，以及 Apache 2.0 开源许可。这些均为项目自述，尚无第三方基准或独立评测可验证。
设计与创新
README 提出的差异点在于先评估再选择：在下载之前就为目录内每个模型和量化方案估算 tok/s，并按速度、准确度、智能程度与内存排序，再对所选模型按实际硬件调优上下文长度与投机解码等参数。相比只负责运行指定模型的工具，它强调选型与调优的自动化。由于缺少可复现的基准与对比数据，这些创新点目前尚无法独立验证。
适用场景
适合希望在本地运行开源模型的开发者与个人用户：在 Apple Silicon、NVIDIA、AMD 或仅有 CPU 的机器上，先了解可运行的模型范围，再选择并下载；也可用于统一内存设备如 DGX Spark、Strix Halo。对使用 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi、Cline 等智能体的用户，可一键接入。桌面端支持 macOS、Linux 与 Windows。
谁会受益
对不熟悉本地推理调参的用户，它能减少判断硬件可承载模型与量化方案所需的前期调研，并提供下载前的速度预估，降低反复试错的成本。按需加载与空闲卸载有利于多任务环境下控制内存占用。离线运行与本地留存数据适合对隐私敏感的场景。具体收益仍取决于实际硬件与模型目录覆盖范围，README 未给出实测数据。
使用前需要注意
README 未提供最低硬件要求、支持模型目录规模、tok/s 估算的准确度依据，也未给出与 Ollama、LM Studio 等工具的实测对比数据，因此其优势与创新无法独立验证。对 NVIDIA、AMD 与纯 CPU 的具体支持程度、DGX Spark 等设备上的实际表现、后台常驻资源占用，以及一键连接各智能体的稳定性均未说明。许可证信息以仓库 LICENSE 文件为准。
本文基于抓取时的项目 README 和仓库简介整理；功能、限制与文档可能随项目更新而变化。