轻松入门自然语言处理系列 02 数据结构与算法基础

前言

本文主要介绍了开发中经常用到的数据结构与算法，包括数据结构与算法的重要性、动态规划和DTW算法。

一、数据结构与算法的重要性

1.复杂度分析

在实际开发中，可以通过分析，得到代码中哪里存在问题、需要进行优化，从而可以提升效率。

算法复杂度衡量的是一个算法的效率，比如一个算法运行下来需要多长时间？需要消耗多少资源？根据算法复杂度，我们可以评估一个算法的优劣。在复杂度的衡量上，我们经常使用Big O表示法。

算法的复杂度分为时间复杂度和空间复杂度，分别从时间和内存空间上来衡量一个算法。

复杂度的理解是极为重要的。在从事AI工作中经常会碰到各种各样程序效率低的问题，一个模型训练起来可能需要几天甚至几个月。这时候最直接的解决方式就是加机器，但也是最笨的方法。作为一名AI工程师，我们首先需要想到如何从根本上优化算法，比如检查是否使用了合理的数据结构？

例如，如果一个程序需要经常做数据的查询，那这时候你要考虑用像哈希等合理的数据结构了；相反，如果你用的是列表(list)，查询速度就会变得很慢。再比如，假设我们需要寻找一堆数据中的最大的几个数，很多人可能会选择先把所有的数做排序，之后再提取最大的前几个。但有没有比这个更高效的做法呢? 实际上，在这个场景，我们可以使用一个优先队列（priority queue）来更快速地查询。

所以，每一个小的细节决定了整个程序的效率。这也是为什么一定要重视算法复杂度的原因。