bitnet.cpp 是面向 1.58 位大语言模型的推理框架，提供针对 CPU 与 GPU 的优化内核，并附带模型转换、构建、运行及基准测试流程。
项目做什么
项目旨在让采用三值权重等低比特表示的语言模型能够通过专门的推理内核运行。README 展示了 BitNet b1.58 及部分社区模型，并提供环境配置、模型准备、命令行生成和基准测试入口；它侧重推理，不应据此视为模型训练框架。
与同类方案相比
README 描述了面向 x86、ARM CPU 的内核及 GPU 推理支持，并列出不同模型与 I2_S、TL1、TL2 内核的适配情况，便于按设备和模型选择路径。项目还提供本地运行方式、线程和上下文等参数，以及在线演示与测试脚本；速度和能耗数据属于仓库所引报告及特定测试条件下的声明，不能直接推广到所有设备。
设计与创新
项目的技术重点是为 1.58 位模型提供专用推理内核，并围绕不同处理器提供多种内核实现；README 还提到嵌入模型的 I2_S 转换与推理优化。仓库将此类系统实现描述为面向低比特模型推理的框架，但仅凭简介和 README 无法独立验证其创新性，也无法与其他实现作公平的优劣比较。
适用场景
适用场景包括在本地 CPU 上运行受支持的低比特对话模型、在具备相应支持的 GPU 上进行推理，以及在 x86 CPU 上运行列出的嵌入模型。对于边缘或资源受限设备，可将低比特模型推理作为评估方向；实际是否适用仍取决于设备架构、模型、内核支持和可接受的输出质量与速度。
谁会受益
对希望试用或评估低比特模型本地推理的开发者，项目提供从依赖安装、模型获取与环境配置，到生成文本和运行端到端基准测试的操作路径。支持矩阵和参数说明也有助于确认模型、量化类型与设备是否匹配；实际收益需要在目标机器和目标模型上自行测量。
使用前需要注意
README 列出的支持并非所有模型和硬件组合均可用，例如其表格中部分嵌入模型仅列出 x86 的 I2_S 支持，GPU 也仅说明有官方推理内核，具体适配信息需查阅相应文档。构建依赖 Python、CMake、Clang 等工具，且需要准备模型文件。性能与能耗数据依赖测试条件；README 未提供的信息，如全面的兼容性、部署保障和各场景实测，不能据此确认。
本文基于抓取时的项目 README 和仓库简介整理；功能、限制与文档可能随项目更新而变化。