L2G3000

W4A16 量化+ KV cache+KV cache 量化使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用

可以看到，模型将输入 'Compute (3+5)*2' 根据提供的 function 拆分成了"加"和"乘"两步，第一步调用 function add 实现加，再于第二步调用 function mul 实现乘，再最终输出结果16。