cicy5219的博客

剪枝这个词，很形象，第一反应想到的是剪树枝，剪葡萄枝。在机器学习中，让人很快想到决策树，避免过拟合的方法之一，就是剪枝，也就是决策树不要太深，不然分得太细，模型变得复杂容易过拟合。而把深度学习中神经网络的参数，早先Transformer就有5000万个参数，YOLOv5s有700万个参数，到现在GPT有上千亿个参数。这些参数就像超大型乐团一样，总有东郭先生的存在，在那儿滥竽充数。