大模型后量化算法迭代迅速,早期进行线性层缩放(AWQ/SmoothQuant),
目前 各类旋转/可逆矩阵对量化参数进行预变换(QuaRot、SpinQuant、QServe、以及FlatQuant

设计预量化变换 量化、 及低精度矩阵相乘的融合算子也尤为重要。
https://mp.weixin.qq.com/s/B4TDgSCLVlzs7jxuJGsCSw
https://2012labs.huawei.com/#/campaign/series/1075578997785092096/detail

Logo

加入社区!打开量化的大门,首批课程上线啦!

更多推荐