Dynamic optimization with side information

摘要

我们开发了一种易于处理且灵活的方法，用于在不确定性下将辅助信息整合到动态优化中。 所提出的框架使用预测机器学习方法（例如 k-最近邻、核回归和随机森林）来加权各种数据驱动的不确定性集在稳健优化公式中的相对重要性。 通过一类机器学习方法的新度量集中结果，我们证明了所提出的方法对于带边信息的多周期随机规划是渐近最优的。 我们还描述了这些优化问题的通用近似，基于重叠的线性决策规则，它在计算上易于处理，并为具有多个阶段的动态问题产生高质量的解决方案。 在库存管理、财务和运输计划的各种示例中，我们的方法比其他方法实现了高达 15% 的改进，并且在十二个阶段的问题上需要不到一分钟的计算时间。

1 引言

不确定性下的动态决策构成了运筹学和管理科学中许多基本问题的基础。 在这些问题中，决策者试图随着时间的推移最小化不确定的目标，因为信息逐渐变得可用。 例如，考虑一家零售商，其目标是管理一种新的短生命周期产品的库存。 每周，零售商必须确定订购数量以补充其库存。 对产品的未来需求未知，但零售商可以根据剩余库存水平做出订购决定，这取决于前几周实现的需求。 规避风险的投资者在构建和调整资产组合以在数月内实现理想的风险收益权衡时面临类似的问题。 在能源规划、航线路线和拼车以及许多其他领域，其他例子比比皆是。
为了在动态环境中做出高质量的决策，决策者必须准确地模拟未来的不确定性。 通常，从业者可以访问辅助信息或辅助协变量，这有助于预测这种不确定性。 对于零售商来说，虽然对新推出的服装项目的未来需求未知，但关于该项目的品牌、款式和颜色的数据，以及作为市场趋势和社交媒体的数据，可以帮助预测它。 对于规避风险的投资者而言，虽然未来阶段的资产回报不确定，但近期的资产回报和相关期权的价格可以为即将到来的波动提供重要的洞察力。 因此，许多行业的组织都在继续优先使用预测分析，以利用大量数据来了解未来的不确定性并做出更好的运营决策。
在本文中，我们通过研究以下一类多周期随机决策问题来解决这些应用。 具体来说，我们考虑组织面临的问题，其中 1 T 个决策 x 1 ∈ X 1 ⊆ R d x , 。 . . , x T ∈ X T ⊆ R d x 被顺序选择，作为随机向量 ξ 1 ∈ Ξ 1 ⊆ 1 T R d ξ , . . . , ξ T ∈ Ξ T ⊆ R d ξ 在每个时间段逐渐可用。 在选择任何决策之前，我们观察辅助信息 γ ∈ Γ ⊆ R d γ ，它可以预测后续时期观察到的不确定量。 目标是选择一个决策规则（策略），在整个问题范围内最小化条件预期成本：
（1）
然而，对联合概率分布（γ，ξ 1 ，…，ξ T ）的唯一见解来自历史 N 数据，（γ 1 ，ξ 11 ，…，ξ 1 T ），… . . , (γ N , ξ N 1 , . . . . , ξ T )，它们被假定为独立且同分布 (i.i.d.) 的底层联合分布的实现。 在整篇论文中，我们没有对 (γ, ξ 1 , …, ξ T ) 之间的相关性施加任何参数结构，并假设 (1) 的最优决策规则的结构是未知的。 本论文的目的是开发通用方法来利用这些数据来近似解决随机问题 (1)。
这种对辅助信息进行初始观察的动态优化问题出现在许多操作环境中。 例如，时装零售商可以在任何销售之前访问有关新服装项目的品牌、款式和颜色的数据，这些数据可以预测产品生命周期中每周的需求。 同样，在金融领域，重要的经济数据（如消费者价格指数 CPI 和美国劳工统计局报告中的关键数据）按固定时间表每月发布，这些数据为寻求 在下个月的每一天平衡投资组合的风险。 因此，从建模的角度来看，(1) 涵盖了辅助信息不随时间变化的组织（例如，时尚零售商）或在比决策范围的长度长得多的时间尺度上变化的各种决策问题 （例如，基金经理）。
最近的一项工作旨在利用预测分析来解决（1）在单周期问题（T = 1）的特定情况下。 例如，汉娜等人。 （2010 年）、Ban 和 Rudin（2018 年）、Bertsimas 和 Kallus（2020 年）、Ho 和 Hanasusanto（2019 年）研究了基于样本平均近似的规范性方法，这些方法使用本地机器学习为历史数据分配权重基于边信息的数据。 Bertsimas 和 Van Parys (2017) 建议增加这些权重的稳健性，以实现最优的渐近预算保证。 Elmachtoub 和 Grigas (2017) 开发了一种线性优化问题的方法，其中训练机器学习模型以最小化决策成本。 不幸的是，为单周期问题设计的规范性方法通常不会扩展到（1），如下面的例子所示。
示例 1. 假设决策者试图通过求解来近似 (1)
（2）
其中 w N ( · ) 是权重函数（满足 P N i i=1 w N (γ̄) = 1），源自应用于历史数据的机器学习方法。 当 T = 1 并且使用合适的机器学习方法构建权重函数时，Bertsimas 和 Kallus (2020) 在某些条件下表明上述优化问题是渐近最优的，因此将提供 (1 ) 在大数据设置中。 然而，很容易观察到，当 T ≥ 2 时，(2) 等方法将导致对带有辅助信息的潜在多周期随机决策问题的近似较差，因为由 (2) 产生的最优决策规则通常是“ 预期”相对于历史数据。 1 这种预期性（一种过度拟合的形式）最终具有实际重要性，因为它意味着（2）即使在存在大数据的情况下也可以提供（1）的不合适的近似值。
为了避免在多时期问题的背景下过度拟合，最近的文献旨在通过构建场景树来解决（1）问题。 场景树在随机编程文献中已经被长期研究，并且基本上通过编码不确定性可以随时间展开的各种方式来解决过度拟合。 对于一类带边信息的多期库存管理问题，Ban 等人。 (2019) 提出将历史数据和辅助信息拟合到参数回归模型，并在正确指定模型时建立渐近最优性。 Bertsimas 和 McCord (2019) 提出了一种基于动态规划的不同方法，该方法使用非参数机器学习方法来处理辅助边信息。 这些论文还扩展到在多个时期观察到辅助信息的问题。 然而，这些动态方法需要场景树枚举并且遭受维度灾难。 因此，尽管它们是渐近最优的，但解决 (1) 的现有方法可能需要数小时或数天才能为十个或更少时间段的问题获得高质量的解决方案。
1.1 贡献
简而言之，本论文的目的是开发一种基于机器学习的方法来解决 (1) 问题，该方法在计算上仍可处理许多操作问题期间。 为此，我们通过将规范分析 (2) 与来自稳健优化的最新技术自然结合来开发一种新方法 (1)，以避免过度拟合 (Bertsimas 等人。
2018a），本文通过一种新颖的渐近理论统一了我们对这些不同模型的理解。
从实际的角度来看，我们提出的两种文献流（规范分析和稳健优化）的组合最终被视为具有吸引力。 针对来自多个应用程序（运输计划、库存管理和财务）的多期和单期问题，所提出的方法产生的解决方案与替代方案相比，平均样本外成本提高了 15%。 特别是，该方法不需要场景树，因此，与现有的使用辅助信息进行动态优化的方法相比，它更易于处理。 据我们所知，这是解决 (1) 的第一种方法，它提供渐近最优性保证，同时对多周期问题保持实际可处理性，从而为组织提供通用工具，以通过预测分析做出更好的决策。
更详细地说，本文的主要结果如下： (a) 我们建议通过将规范分析方法 (2) 与 Bertsimas 等人的技术相结合来解决 (1)。 （2018a）以避免在多期问题中过度拟合。
(b) 我们证明在温和条件下，机器学习和鲁棒优化的这种组合对于决策规则的一般空间（定理 1）对于 (1) 是渐近最优的。
© 为了建立上述保证，我们首次表明，随着获得更多数据，由机器学习方法构建的经验条件概率分布将收敛到关于类型 1 的基础条件概率分布 Wasserstein 距离（定理 2）。
(d) 作为新测量集中结果的副产品，我们展示了如何将辅助信息和机器学习轻松地纳入（单周期）基于 Wasserstein 的分布鲁棒优化问题，同时保持其有吸引力的渐近最优性。
(e) 为了在实际计算时间内为具有多个阶段的问题找到高质量的解决方案，我们通过扩展 Bertsimas 等人的方法为这些鲁棒优化问题开发了一种易于处理的近似算法。 （2019），陈等人。 （2020）到多期问题。
(f) 跨多个应用程序（装运计划、库存管理和财务）的多周期和单周期问题，我们表明，机器的建议组合学习和鲁棒优化优于替代方案，平均样本外成本提高了 15%。 特别是，所提出的方法是实用且可扩展的，对多达 12 个阶段的示例只需要不到一分钟的时间。
本文的结构如下。 第 2 节介绍问题设置和符号。 第 3 节提出了将机器学习纳入动态优化的新框架。
第 4 节对所提出的方法进行了理论保证。 第 5 节讨论了这些结果在使用 1 型 Wasserstein 模糊集的单周期分布稳健优化的背景下的含义。 第 6 节介绍了使用边信息进行动态优化的一般多策略近似方案。 第 7 节介绍了在运输计划、库存管理和财务方面提出的方法的详细调查和计算模拟。 我们在第 8 节结束。
1.2 相关工作对比
本文遵循最近关于运筹学和管理科学不确定性下的数据驱动优化的文献。 这项工作的大部分集中在分布稳健优化的范式上，其中最佳解决方案是在歧义集中的最坏情况概率分布上表现最佳的解决方案。 在概率保证的推动下，分布式鲁棒优化特别适用于数据驱动的设置，其中使用历史数据构建模糊集，例如 Delage 和 Ye (2010)，Xu 等人。 (2012)、Mohajerin Esfahani 和 Kuhn (2018)、Van Parys 等人。 （2017）。
特别是，我们收敛结果的最后一步（第 4.4 节）在很大程度上借鉴了 Mohajerin Esfahani 和 Kuhn（2018）以及 Bertsimas 等人的类似技术。 （2018a）。 与之前的工作相比，本文为经验条件概率分布（第 4.3 节）开发了一个新的度量集中结果，它使机器学习和辅助信息首次能够纳入样本鲁棒优化和基于 Wasserstein 的分布鲁棒优化。
据我们所知，提出的机器学习和鲁棒优化的组合用于解决（1）是新颖的，其理论依据并没有从现有文献中得出。 关于规范性分析，Bertsimas 和 Kallus (2020) 在 T = 1 的情况下为形式 (2) 的问题建立了渐近最优性保证。他们的结果要求成本函数是等连续的。 他们的证明依赖于机器学习文献（Walk 2010）的结果，这表明适当构建的经验条件概率 i 分布（权重 { w N (γ̄) } 分配给每个历史观察 ξ i ）弱收敛在某些假设下，给定 γ = γ̄ 的 ξ 的真实条件概率分布。 然而，当 T ≥ 2 时，渐近最优性和证明技术不适用于 (2)，因为决策规则产生的成本函数通常不是等值连续的。 对于没有辅助信息的问题，Bertsimas 等人。 （2018a）通过增加历史数据的稳健性来规避公平连续性的要求。 为了建立渐近最优性，他们利用不确定性的经验概率分布集中在关于 1 型 Wasserstein 距离的真实分布这一事实。 在本文中，我们通过为机器学习开发一种新的度量集中结果来统一这些证明技术，该结果表明，由适当的权重函数产生的经验条件概率分布集中在关于 1 型 Wasserstein 距离的真实条件概率分布周围。 这建立了我们对（2）的鲁棒性增强的渐近最优性，用于具有辅助信息的多阶段随机决策问题。
最近的几篇论文集中于两阶段和多阶段分布的易处理近似和样本鲁棒优化。 许多方法都基于策略近似方案，包括提升的线性决策规则 (Bertsimas et al. 2018b)、K-adaptivity (Hanasusanto et al. 2016) 和有限适应性 (Bertsimas et al. 2018a)。 替代方法包括易于处理的共阳性公式近似（Natarajan 等人 2011，Hanasusanto 和 Kuhn 2018）。 与本文中的近似方案最相关的是 Chen 等人。 (2020) 和 Bertsimas 等人。 （2019），通过重叠的决策规则解决两阶段问题。 陈等人。（2020 年）提出了一种场景建模方法，该方法导致各种分布式鲁棒应用的新近似，包括使用 Wasserstein 模糊集的两阶段分布式鲁棒优化和单阶段问题中分段凸目标函数的期望。 独立地，Bertsimas 等人。 （2019 年）通过为每个不确定性集优化单独的线性决策规则来研究两阶段样本鲁棒优化的多策略逼近，并证明随着数据量趋于无穷大，这种逼近差距收敛到零。
在本文的第 6 节中，我们首次展示了如何将类似的技术扩展到具有多个阶段的动态问题。

</