36、专业机器学习主题：提升性能与处理大数据的技术方法

专业机器学习主题：提升性能与处理大数据的技术方法

1. 使用 bigmemory 处理大规模矩阵

bigmemory 包允许使用超过系统可用内存的超大型矩阵。这些矩阵可以存储在磁盘或共享内存中，方便同一计算机上的其他进程或跨网络使用，有助于实现并行计算方法。

1.1 bigmemory 包特点

• 存储方式灵活 ：可存于磁盘或共享内存。
• 支持并行计算 ：利于后续并行处理。
• 适用数据类型 ：仅支持数值数据。

1.2 注意事项

bigmemory 矩阵与数据框不同，不能直接用于多数机器学习方法，但因其与典型 R 矩阵相似，可轻松创建小样本或数据块并转换为标准 R 数据结构。此外，其作者还提供了 bigalgebra、biganalytics 和 bigtabulate 包，可对矩阵进行简单分析，如 biganalytics 包中的 bigkmeans() 函数可执行 k - 均值聚类。

1.3 文档获取

更多关于 bigmemory 包的文档可在 http://www.bigmemory.org/ 查看。

2. 并行计算加速学习

早期计算中，处理器串行执行指令，一次只能执行一个任务。而并行计算方法使用两个或多个处理器或计算机来解决更大的问题。现代计算机多支持并行计算，即使单处理器也可能有多个核心可并行工作。

2.1 并行计算的适用场景