15、数据建模与机器学习实战指南

数据建模与机器学习实战指南

1. 准确性与增量收益

在进行数据建模时，我们需要考虑为了达到可接受的准确结果（或如示例中提到的精确率/召回率）需要付出多少努力。在机器学习中，即使能够实现 100% 的完美准确率，这也可能并非最有效的时间利用方式，因为追求这一目标涉及成本决策。例如，达到 80% 的准确率可能轻而易举，但从 95% 提升到 99% 的准确率可能需要投入大量资源。

我们来看一个具体例子。假设向用户发送优惠信息，能以 80% 的准确率预测用户下周会额外消费 1000 美元，那么这个预测的平均价值就是 800 美元。如果将准确率提高到 90%，预测的平均价值将变为 900 美元。但如果为了提高这 10% 的准确率，每个用户的成本超过 100 美元，那么这个项目就会亏损。

为了确定可接受的阈值，我们需要回顾项目价值的估算，并对不同阈值（如 80% 准确率、90% 准确率等）的情景进行预测。以下是一个示例：
| 准确率 | 额外收入 | 所需工作日 | 成本 | 净收益 |
| ---- | ---- | ---- | ---- | ---- |
| 80% | $80,000 | 1 天 | $1,000 | $79,000 |
| 90% | $90,000 | 5 天 | $5,000 | $85,000 |
| 95% | $95,000 | 15 天 | $15,000 | $80,000 |
| 99% | $99,000 | 45 天 | $45,000 | $54,000 |

从这个示例可以看出，超过 90% 准确率之后，净收益开始下降，所以继续提高准确率在商业上可能并不划算。 </