[大模型学习量化】 flatquant
·
大模型后量化算法迭代迅速,早期进行线性层缩放(AWQ/SmoothQuant),
目前 各类旋转/可逆矩阵对量化参数进行预变换(QuaRot、SpinQuant、QServe、以及FlatQuant
设计预量化变换 量化、 及低精度矩阵相乘的融合算子也尤为重要。
https://mp.weixin.qq.com/s/B4TDgSCLVlzs7jxuJGsCSw
https://2012labs.huawei.com/#/campaign/series/1075578997785092096/detail
更多推荐




所有评论(0)