39、机器学习实践案例深度剖析与经验总结

机器学习实践案例深度剖析与经验总结

在机器学习的实际应用中，会遇到各种各样的挑战和问题。下面将通过几个具体案例，深入剖析这些问题，并总结其中的经验教训。

方言ASR模型优化与数据挑战

在方言自动语音识别（ASR）模型的开发中，数据的多样性和数据保留政策带来了诸多挑战。

为了提升模型在代表性不足方言上的性能，我们通过模型自身的置信度度量进行过滤，获取了模型表现不佳的数据。将这部分代表性不足的数据进行转录，并结合原始训练数据集训练新模型。经过几轮模型调优和评估，在不改变训练技术和模型架构的情况下，ASR模型在手动筛选的代表性不足方言测试集上的表现得到了显著提升。这表明，训练数据中的少量多样性就能使模型更加健壮，相比传统机器学习实践中对训练数据规模的强调，数据多样性在提升模型性能方面更为重要。

然而，数据保留政策给整个ASR系统的模型测试和实验带来了严重挑战。具体体现在以下两个事件中：
- 数据分区问题 ：在实验阶段，我们使用了来自英国和澳大利亚地区的数据进行实验。但在季度末发现，新的官方英国语音测试集中包含了训练数据集中的部分通话。经调查，是由于季度中期为遵守数据保留政策进行了数据分区调整，导致原本在训练分区的数据进入了开发/测试分区。这不仅使新模型与现有模型的基准测试过程变得复杂，还意味着若要避免类似情况，未来需要重新训练模型。
- 模型性能差异问题 ：在解决英国数据分区问题后，新的方言模型在多个内部测试集中的一个测试集上表现仍远不如2020年7月发布的生产模型。我们采用了多种方法进行调查，包括从头训练新模型、检查数据分区等，但由于隐私原因的数据保留政策，我们无法获取