编译器词法分析器自动构造工具实现的主要算法和思想(类LEX)

1.单词和词法

单词和词法是元素与集合的关系，一个词法可以“生成”或者说“包含”或“归类”特定结构的单词

2.词法、正则式和正则文法

3.实现正则匹配(Regular Expression)

4.闲话和推荐

IT 产业新技术日新月异，令人目不暇接，然而在这其中，真正能称得上伟大的东西却寥寥无几。1998年，被誉为“软件世界的爱迪生”，发明了BSD、TCP/IP、csh、vi和NFS的SUN首席科学家Bill Joy曾经不无
调侃地说，在计算机体系结构领域里，缓存是唯一能称得上伟大的思想，其他的一切发明和技术不过是在不同场景下应用这一思想而已。在计算机软件领域里，情形也大体相似。如果罗列这个领域中的伟大发明，我相信绝不会超过二十项。在这个名单当中，当然应该包括分组交换网络、Web、Lisp、哈希算法、UNIX、编译技术、关系模型、面向对象、XML这些大名鼎鼎的家伙，而正则表达式也绝对不应该被漏掉。正则表达式具有伟大技术发明的一切特点，它简单、优美、功能强大、妙用无穷。对于很多实际工作来讲，正则表达式简直是灵丹妙药，能够成百倍地提高开发效率和程序质量。优快云的创始人蒋涛先生在早年开发专业软件产品时，就曾经体验过这一工具的巨大威力，并且一直印象深刻。而我的一位从事网络编辑工作的朋友，最近也领略了正则表达式的威力——他用Perl开发了一个不足20行的小程序，使用正则表达式将一项原本每天耗用10人时的工作在一分钟之内自动完成。而正则表达式在生物信息学和人类基因图谱的研究中所发挥的关键作用，更是被传为佳话。无论对于软件开发者，还是从事其他知识工作的专业人士，正则表达式都是最有利的工具之一。
–摘自《精通正则表达式》