小程序开发公司 微软开源爆火1.58bit大模子推理框架！千亿参数模子量化后单CPU可跑，速率每秒5-7个token
微软开源1bit 大模子推理框架！
目下 1000 亿参数大模子量化后单 CPU 可跑，速率可达每秒 5-7 个 token。
比如在苹果 M2新品上运行 BitNet b1.58 3B 模子，be like：
即是本年爆火论文The Era of 1-bit LLMs的官方代码已毕，开源不到一周 GitHub 已揽获7.9k Star。
传统大模子参数以 16 位浮点数（如 FP16 或 BF16）口头的存储，而 BitNet b1.58 将其竣工酿成了三进制，也即是 {-1, 0, 1}。
这里的" 1.58 bit "指每个参数不错用 1.58 位的信息来暗示。
调理之后，矩阵中的野心就只会触及到加法，因此会让大模子在保握一定精度的同期，显耀减少所需的存储空间和野心资源，也显耀提高了在土产货诞生上运行 LLM 的可能性。
这个名堂开源后，在 X 上也受到了一波高度矜恤。
千亿参数模子量化后单 CPU 可跑
bitnet.cpp是 1bit LLM（举例 BitNet b1.58）的官方推理框架。
该框架配备了一系列优化内核，撑握在 CPU 上进行快速且无损的 1.58bit 模子推理，改日将推广撑握 NPU 和 GPU。
bitnet.cpp 的首版主要撑握 CPU 推理。
具体性能创新方面，在 ARM CPU 上，该框架可已毕1.37 至 5.07 倍的加快，何况更大的模子将有更显耀的性能提高。
同期，它能将能耗缩小 55.4% 至 70.0%，进一步增强效用。
在 x86 CPU 上，加快后果介于 2.37 至 6.17 倍之间，能耗减少 71.9% 至 82.2%。
网友们也发现了华点，在 x86 上的性能增益量比 ARM 更大。
app此外，bitnet.cpp 能使千亿参数模子量化后单 CPU 可跑，速率可达每秒 5-7 个 token，接近东谈主类阅读速率。
微软还展示了使用 bitnet.cpp 推理框架撑握的不同 1 bit LLM。
6 页论文，引入 1 bit LLM
1 bit LLM 的已毕程序，微软在一年前就有干系谈判，称为 BitNet（一种 Transformer），小程序开发资讯用BitLinear替换了 nn.Linear。
本年二月，BitNet 原班东谈主马在上一篇论文的基础之上作念了优化，提议 BitNet b1.58，在原始 BitNet 的基础上增多了一个额外的0 值。
然后这篇本体只须 6 页的论文激发烧议：
BitNet b1.58 模子的权重被量化为三元值 {-1, 0, 1}，颠倒于在二进制系统中使用了 1.58 bit 来暗示每个权重。
弃取了 absmean 量化函数来看管权重，将权重矩阵通过其平均透顶值进行缩放，然后四舍五入到最接近的整数值（-1、0 或 1）。
激活量化中，激活值被缩放到 [ − Qb, Qb ] 的范围，以此来抛弃零点量化。
放弃一场大满贯，这样的决定肯定很奇怪，然而莱克西-汤普森不是第一个这么做的人，与此同时，她也不是最高等级的选手。
在架构联想上，BitNet b1.58 鉴戒了 Llama，使用了 RMSNorm、SwiGLU、旋转位置编码等组件，并移除了扫数偏置项。这种联想使其大约冒昧集成到主流的开源框架中。
实验中，与 Llama 比较，BitNet b1.58在矩阵乘法方面勤俭了 71.4 倍的野心能耗。
这种程序发布后，也有不少东谈主在这项谈判的基础之上进行探索。
其中一个问题是，BitNet b1.58 将每个参数仅用三元值暗示，然则扫数这些皆需要从新启动测验模子，并不是谁皆有预算来进行 LLM 预测验。
而 Huggingface Transformers 最近整合了 BitNet b1.58，期骗了一些手段，使得现存模子不错径直微调到 1.58bit。
感深嗜的童鞋不错自行查阅。
不外也有网友指出了这种程序的局限：
总之，1 bit LLM 具有强大的后劲。
但也正如网友所言，1 bit LLM 关键还得是能在推行中讲授我方。
参考贯穿：
[ 1 ] https://github.com/microsoft/BitNet
[ 2 ] https://x.com/rohanpaul_ai/status/1847814379657462201
[ 3 ] https://x.com/rohanpaul_ai/status/1848172443258728860?s=46&t=iTysI4vQLQqCNJjSmBODPw
[ 4 ] https://huggingface.co/blog/zh/1_58_llm_extreme_quantization小程序开发公司