基准测试显示,BitNet b1。58 2B4T的运转速度比同尺寸模子更快,某些环境下可达到两倍速度。
4月17日动静,微软研究团队已研发出目前规模最大的“1-bit”AI模子——BitNet b1。58 2B-4T。它采用MIT许可开源发布,可正在通俗的电脑处置器(包罗苹果M2芯片如许的SoC芯片)运转。
不外,要实现这一机能表示,需依赖微软自研的bitnet。cpp框架。该框架当前仅支撑部门特定硬件平台,尚不兼容当前支流AI根本设备中的GPU,(腾讯科技特约编译金鹿)?。
微软引见称,BitNet是一类为轻量级硬件量身打制的压缩型AI模子,模子的权沉参数仅取三个值:-1、0、1,每个参数仅需1。58位存储(保守FP16模子为16位),大幅削减存储权沉所需的内存并启用高效的位运算,降低摆设成本、削减能耗并加快推理速度,更好地正在算力资本无限的设备上运转。
BitNet b1。58 2B-4T:包含优化后的1。58位权沉,合用于高效推理,用于摆设。