20、数据科学中的性能优化与资源管理

数据科学中的性能优化与资源管理

1. 文本编码方法选择

在处理数据时，若数据无法全部载入内存且特征不固定， HashingVectorizer 是理想选择；其他情况下，可考虑更直观的 CountVectorizer 。

1.1 两种编码方法对比

编码方法	优点	缺点
CountVectorizer	能将文本最优编码为数据矩阵	无法处理文本后续的新情况
HashingVectorizer	在可能接收新数据的场景中提供灵活性	不如基于哈希函数的技术优化

2. 性能计时与基准测试

随着处理复杂度增加，我们需要关注处理对应用速度和内存的影响。Jupyter 是进行实验、调整和改进代码的理想环境，通过精确的速度测量能找出代码瓶颈。

2.1 Jupyter 中的计时魔法命令

• %timeit ：计算单条指令的最佳执行时间。
• %%timeit ：计算一个单元格中除与单元格魔法命令在同一行的指令（可能是初始化指令）外所有指令的