对你的LLM，如果有那么一批数据特别难学，就算搜参了也学不到，应该怎么办？

显然是缺数据了。

一个简单的方法可以解决。
用gpt生成一批数据，然后one-shot地如下组织数据：
先prompt放一例gpt生成的qa，再从难例里抽一例，把q贴在prompt里，assistant贴对应的难例真实a。
然后计算ppl。
此时再去掉gpt的qa，再计算纯难例子生成真实a的ppl。
如果前者的ppl更低，说明当前例大概率对难例的预测有促进作用，可以作为补充数据。

这样补充一批训练数据，就有可能解决问题了。