首页 > 每日活动 > 每日活动 > 微软亚研院多项创新技术,弥合大模型低比特量化与终端部署间鸿沟

微软亚研院多项创新技术,弥合大模型低比特量化与终端部署间鸿沟

发布时间:2024-08-21 22:59:04来源: 13041198719

在人工智能领域,模型参数的增多往往意味着性能的提升。但随着模型规模的扩大,其对终端设备的算力与内存需求也日益增加。低比特量化技术,由于可以大幅降低存储和计算成本并提升推理效率,已成为实现大模型在资源受限设备上高效运行的关键技术之一。然而,如果硬件设备不支持低比特量化后的数据模式,那么低比特量化的优势将无法发挥。

为了解决这一问题,微软亚洲研究院推出了全新的数据编译器 Ladder 和算法 T-MAC,使当前只支持对称精度计算的硬件能够直接运行混合精度矩阵乘法。测试结果表明,Ladder 在支持 GPU 原本不支持的自定义数据类型方面,最高提速可达14.6倍;T-MAC 在搭载了最新高通 Snapdragon X Elite 芯片组的 Surface AI PC 上,使 CPU 上运行的大模型吞吐率比专用加速器 NPU 快两倍。此外,研究员们还设计了 LUT Tensor Core 硬件架构,这种精简设计使硬件能够直接支持各种低比特混合精度计算,为人工智能硬件设计提供了新思路。

 

大模型已经越来越多地被部署在智能手机、笔记本电脑、机器人等端侧设备上,以提供先进的智能及实时响应服务。但包含上亿参数的大模型对终端设备的内存和计算能力提出了极高的要求,也因此限制了它们的广泛应用。低比特量化技术因其能显著压缩模型规模,降低对计算资源的需求,成为了大模型在端侧部署和实现高效推理的有效手段。

 

随着低比特量化技术的发展,数据类型日益多样化,如 int4、int2、int1 等低比特数据,使得大模型在推理中越来越多地采用低比特权重和高比特权重计算的混合精度矩阵乘法(mixed-precision matrix multiplication,mpGEMM)。然而,现有的 CPU、GPU 等硬件计算单元通常只支持对称计算模式,并不兼容这种混合精度的矩阵乘法。

 

混合精度矩阵乘法与传统的矩阵乘法有何不同?

 

在传统的矩阵乘法中,参与运算的两端数值是对称的,例如 FP16*FP16、int8*int8。但大模型的低比特量化打破了这种对称性,使乘法的一端是高比特,另一端是低比特,例如在 1-bit 的 BitNet 模型中实现的 int8*int1 或 int8*int2,以及浮点数与整数的混合乘法 FP16*int4。

 

为了充分发挥低比特量化的优势,让硬件设备能够直接支持混合精度矩阵乘法,确保大模型在端侧设备上的高速有效运行,微软亚洲研究院的研究员们针对现有 CPU、GPU 计算算子和硬件架构进行创新:

 

  • 推出了数据类型编译器 Ladder,支持各种低精度数据类型的表达和相互转换,将硬件不支持的数据类型无损转换为硬件支持的数据类型指令,在传统计算模式下,使得硬件能够支持混合精度的 DNN(深度神经网络)计算;
  • 研发了全新算法 T-MAC,基于查找表(Lookup Table,LUT)的方法,实现了硬件对混合精度矩阵乘法的直接支持,软件层面,在 CPU 上的计算相比传统计算模式取得了更好的加速;
  • 提出了新的硬件架构 LUT Tensor Core,为下一代人工智能硬件设计打开了新思路。

 

每日活动更多>>

吴迎秋:不要将广本P7看成是一款“快赢”的车 为什么说刚上市的钛3,打了iCAR V23一闷棍? 力压合资燃油SUV拿下销量第一,吉利星越L凭什么? 家庭旗舰SUV终极对决:问界M8以价换量,理想L9还能守住王座吗? 静谧雅致 逐心而愈 劳斯莱斯闪灵与健康生活的诗意共鸣 2025年上海市总工会幼儿园工作人员招聘公告(3人) 2025年上海市卫生和健康发展研究中心(上海市医学科学技术情报研究所)工作人员招聘公告(简章)(1人) 挪威科学家用了铝导体替代铜导体 可减轻电动汽车重量 通用汽车田纳西州工厂停产凯迪拉克XT6 Foretellix:迈向高级自动驾驶——基于数据驱动的自动驾驶开发验证工具链 起亚下调2030年全球销量目标至419万辆 车窗觉醒:追得OMTD光电膜开启汽车美学的\"第四幕\" 3月乘用车市场“爆发”,自主品牌狂揽63%份额,新能源渗透率回升至51% 底特律盖世之夜—重新定义中国市场价值 上市定档 吉利熊猫mini元气熊官图发布 2025广汽科技日:广汽星灵安全守护体系发布,昊铂HL正式上市 “一个温暖的家,一辆白内的它”-MAZDA EZ-6白内焕新登场 上海车展合资车将现“绝地反击”?一汽-大众要用技术绞杀新势力 吉利熊猫 mini 元气熊官图惊艳发布!全新外观,4 月 15 日盛大上市 合资新能源的“价格屠夫”,长安马自达EZ-6如何以实力突围? 上汽集团如何以“平权”重构全球汽车产业格局 上汽集团与地平线深化合作,打造全新智驾体验车型 新款大众探歌正式上市!三款车型齐发,2680 毫米轴距诚意满满 “老大”上汽和它的供应商伙伴们 特斯拉中国下架Model S/X,所以是被小米搞得吗? 换1.5T,外观大变,丰田新一代卡罗拉SUV明年首发 上海车展提前看,款款都是王炸车型 比亚迪全民智驾体验日全国巡展开启|加速高阶智驾普及 2025上汽之夜 预见你的需求 才是真正的智能 别克GL8陆尚亮相,百公里油耗只有6.68升?30万级市场稳了!