2、优化技术、方程、符号与缩写词解析

优化技术、方程、符号与缩写词解析

1. 致谢

在相关工作中，许多学生、合作者和同事提供了宝贵的反馈、建议和支持。特别感谢 Joshua Proctor，他对相关内容的发起起到了关键作用，并在框架搭建和组织方面给予了很多指导。同时，与 Bing Brunton、Jean - Christophe Loiseau、Bernd Noack 和 Sam Taira 的交流也让人受益匪浅。

在第一版的写作和相关课程教学过程中，众多优秀的学生和博士后提供了很好的反馈和意见，他们包括 Travis Askham、Michael Au - Yeung、Zhe Bai 等。这些学生是创作的灵感来源，让每天的工作都充满乐趣。

对于第二版，特别感谢 Daniel Dylewsky 为生成大量 Python 代码付出的努力，Richard Knight 慷慨地在网上分享他的 R 代码。与 Bing Brunton 的深入讨论也很有帮助，Scott Dawson 对全文提供了非常有用、详细且有洞察力的评论和勘误。此外，Asude Aydin、Dammalapati Harshavardhan 等人为修正错误、提出建议做出了贡献。

还要感谢剑桥大学出版社的出版商 Katie Leach 和 Lauren Cowles 的持续支持和鼓励，尤其感谢 Katie 耐心处理第二版的相关事宜，以及 Charles Howell 和 Geoff Amor 通过制作和编辑极大地提升了内容质量。

2. 常见优化策略

2.1 最小二乘法

最小二乘法旨在最小化给定拟合模型与数据之间残差的平方和。线性最小二乘法中，残差关于未知数是线性的，它有