大语言模型（LLM）不仅在推动通用自然语言处理方面发挥了关键作用，更重要的是，它们已成为支撑多种下游应用如推荐、分类和检索的核心引擎。尽管 LLM 具有广泛的适用性，但在下游任务中高效部署仍面临重大挑战。随着模型规模的急剧扩大，这些挑战被进一步放大，尤其是在资源受限的设备上（如智能手机），内存占用和计算开销都变得极其昂贵。
为应对这些问题，近期研究提出了极低比特（extreme low-bit）LLM，例如使用 1.58 比特（即三值 {-1, 0, 1}）表示的 BitNet。这种方法旨在显著降低内存占用并加速推理，从而为 LLM 在下游应用中的高效部署提供一条可行途径。
然而，要让 1.58 比特的 BitNet 在下游任务中达到与高精度模型相媲美的准确率，通常需要从零开始在大规模语料上进行预训练，这会带来巨大的计算和能耗成本。
如图 1 所示，直接对已有的全精度 LLM 进行 1.58 比特量化感知训练（Quantization-Aware Training, QAT）时，在特定下游任务上的训练过程往往不稳定，难以保持原有的性能，并表现出较差的可扩展性：当模型规模从 0.6B 增大到 4B 时，相对于全精度基线的性能差距从 13.9 扩大到 15.3。
这一现象凸显出：迫切需要专门为 1.58 比特 BitNet 设计的更有效的量化感知训练方法。
在本研究中，来自微软的研究者聚焦于将已有的 LLM 微调至 1.58 比特以适配特定下游任务，同时保持与全精度模型相当的性能。为此，本文提出了 BitDistill（BitNet Distillation）—— 一种具备良好可扩展性的量化感知训练（QAT）框架，旨在弥合极端 1.58 比特量化与实际部署之间的性能差距。
在四个基准任务及多种模型规模上的大量实验表明，BitDistill 具有出色的可扩展性，其下游任务性能可与全精度基线持平。同时，如图 1 所示，BitDistill 在 CPU 上实现了 10 倍的内存节省和 2.65 倍的推理加速，显著改善了延迟、吞吐量、内存效率和能耗，使其特别适合部署在资源受限的硬件平台上。