笔记：线性回归,模型轻量化,LORA

1.正确理解线性回归

将回归系数解释为比较,这个提示改变了我看待回归系数的方式。

以此线性回归方程为例
salary = -20 + 0.6 * height + 10.6 * male + error
其中工资以每 1000 美元计算，身高以英寸计算
在这种情况下，高度的估计影响为 0.6 或 600 美元似乎是很自然的。

然而，将其视为“效果”并不恰当，因为这意味着如果我们将某人的身高增加一英寸，他们的收入将增加约 600 美元。

我们的模型实际上告诉我们的是，样本中身高较高的人平均收入较高。

正确的解释是——“在拟合模型下，两个同性别但身高相差一英寸的人的平均收入差异为 600 美元。 ”

仅从数据来看，回归分析只能告诉我们个体之间的比较，而不能告诉我们个体内部的变化

将回归视为比较的好处：

1）始终可以进行对比解释
比较可以说是模型的描述，不需要任何因果假设。

2）复杂回归=由简单模型构建
我们可以将更复杂的回归视为由更简单的模型构建而成，从简单的比较开始并添加调整。

3）比较在因果推理的特殊情况下也有效
比较解释也适用于因果推理的特殊情况，我们可以考虑同一个人接受两种不同水平的治疗之间的比较。

2.模型轻量化

模型轻量化的一些常用方法，其中参数剪枝是一种非常实用的模型轻量化技术，分为加载模型、选择剪枝策略、定义剪枝标准、实施剪枝、微调训练、评估模型几个步骤。

此外我们还可以将模型量化或者进行知识蒸馏.

量化是把模型中的浮点类型的权重转换为低精度（如 INT8 或 INT16）的过程，不仅可以减少模型的存储空间需求，还能在某些硬件上加速模型的推理速度。这就好比我们开发语言里的精度转换，比如 double/long 类型转 int 类型，一般会损失精度，至于影响大不大取决于这个变量