Custom Device 如何支持量化

[Rruown]

请提出你的问题 Please ask your question

Paddle2.6和最新的develop分支目前开放的关于量化的phi kernel有weight_quantize, weight_dequantize，dequantize, dequantize_linear。尤其疑惑是quantize_linear_kernel.h中只有一个dequantize_linear kernel。我使用PaddleSlim的静态图离线量化功能导出了一个量化模型，默认使用onnex的量化格式（dequantize_linear ,quantize_linear ），但是框架只开放了dequantize_linear kernel该如何支持对激活变量的量化？

[vivienfanghuagood]

你好，paddle目前支持了相关的int8的matmul / Linear计算，具体可以参考这个PR：
#57852
目前Paddle通过pass将散的q/dq op融合成quant_linear，具体可以参考这个PR：
#58637