-
【AI快讯分析】移动设备运行大型模型速度提升四至五倍:微软亚洲研究院发布开源创新技术T-MAC,仅需CPU即可实现。
【原文大意】来源:网上搜集微软亚洲研究院开发了一种名为T-MAC的新技术,旨在优化大语言模型在端侧设备上的部署,特别是在手机、PC和树莓派等资源受限的设备上。T-MAC技术通过采用基于查找表(LUT)的计算范式,直接支持混合精度矩阵乘法,无需反量化步骤,从而提高了推理性能并减少了资源消耗。这一技术的关键创新在于它不...
【原文大意】来源:网上搜集微软亚洲研究院开发了一种名为T-MAC的新技术,旨在优化大语言模型在端侧设备上的部署,特别是在手机、PC和树莓派等资源受限的设备上。T-MAC技术通过采用基于查找表(LUT)的计算范式,直接支持混合精度矩阵乘法,无需反量化步骤,从而提高了推理性能并减少了资源消耗。这一技术的关键创新在于它不...