Paper Reading | HedgeAgents: 多agent多资产对冲，3年累计收益400%-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_59614665/article/details/145860665

论文链接：https://arxiv.org/pdf/2502.13165

“ 随着自动化交易在金融市场的兴起，算法投资策略日益重要。大模型（LLMs）和基于agent的模型虽在市场分析和交易决策中有潜力，但面对市场快速下跌或频繁波动时会有显著损失。本文提出创新的多agent系统HedgeAgents，通过“对冲”策略增强系统鲁棒性。该系统包含基金经理和多个对冲专家，利用LLMs的认知能力通过三种会议进行决策和协调，取得了三年70%的年化回报率和400%的总回报率，其投资经验可与人类专家媲美。”

一、背景

在当代金融市场，自动化交易成为关键投资策略。人工智能融入金融交易带来机遇，特别是LLMs的出现，它们能分析金融和新闻信息、预测市场变化并产生金融分析报告，基于LLM的agent还能模拟市场动态优化交易策略。然而，这些模型缺乏应对现实波动所需的鲁棒性，在总回报和夏普比率等指标上表现不佳，且缺乏风险管理机制，再加上金融市场本身的复杂性和不确定性，设计优化交易策略的挑战加剧。

二、问题定义

现有的基于人工智能的金融交易模型，如LLMs和基于agent的模型，在实际应用中缺乏足够的鲁棒性，难以承受现实世界金融市场的波动，存在风险管理机制缺失的问题。本文旨在开发一种基于“对冲”概念的多agent金融交易系统，以提高系统的稳定性、可靠性和投资回报率。

三、方法

在这里插入图片描述

3.1 整体框架

HedgeAgents框架模拟真实对冲基金公司架构，旨在优化多资产投资组合的风险对冲。框架包含比特币分析师Dave、道琼斯分析师Bob、外汇分析师Emily和对冲基金经理Otto四个agent，分别管理特定资产，经理负责整体风险管理和资产投资预算分配。通过建立预算分配会议（BAC）、经验分享会议（ESC）和极端市场会议（EMC）三种多agent协调会议来实现有效协作。

3.2 单agent定义

单个agent包含一系列金融分析工具T，以及定义配置文件、动作A、记忆和反思。其中有23种工具，动作包含8种类型，记忆分为3种类型：基本市场信息记忆M_{MI}、投资反思M_{IR}和一般经验M_{GE}。通过基于反思驱动的决策过程将基于LLM的智能投资agent集成到强化学习框架中，该过程包括记忆检索、决策制定和反思更新三步。

记忆检索：采用检索策略搜索可靠经验以增强决策，将agent在t时刻的输入（市场信息、金融新闻和工具结果）编译成汇总查询Q_{t}，然后从所有记忆中检索K=5个相似案例M_{ret}。

决策：基于经验M_{ret}扩展强化学习，通过公式

在这里插入图片描述

确定策略，其中r_{t}是t时刻的奖励，取决于环境状态s_{t}和动作a_{t}，动作a_{t}通过

确定，目标是找到策略mu以优化总回报。

反思更新：基本市场信息和汇总查询Q_{t}存储在基本记忆M_{MI}中，决策过程中的反思和动作在投资反思M_{IR}中更新。

3.3 对冲agent的协调

预算分配会议（BAC）：周期为30天，Dave、Bob和Emily向经理Otto提交包含当前利润情况R_{p}和预算期望及原因R_{b}的报告，经理通过提示模板phi_{rho}整合所有报告和辅助工具R_{a}来评估预期未来回报rho_{i}，引入预期总回报I_{etr}、整体投资组合风险I_{pr}和条件预期回撤风险I_{cvar}三个指标，最后通过优化目标函数确定预算分配。

经验分享会议（ESC）：在每个投资周期结束时举行的定期会议，3个对冲agent进行多轮知识积累。每轮每个agent从记忆M_{IR}中回顾一个典型案例C_{t}供同行讨论，所有见解D_{t}存档于记忆M_{GE}中，通过

更新一般经验记忆M_{GE}。

极端市场会议（EMC）：由经理Otto召集以应对市场波动（日振幅超过5%或三日累计振幅超过10%）的临时会议。面临危机的agent需展示当前投资组合持有情况、阐述危机原因并提出计划，Otto和其他agent提供建议S_{B}、S_{C}、S_{E}，通过公式

平衡建议重要性。

四、实验

4.1 数据集

编制了包含比特币、外汇和道琼斯成分股的综合金融数据集，数据来源于雅虎财经和Alpaca News API，时间跨度为2015年1月1日至2023年12月31日，包含每日的开盘价、最高价、最低价、收盘价、成交量、调整后收盘价，以及每日新闻更新和60个标准技术分析指标。

4.2 评估指标

按照9个金融指标比较HedgeAgents和基线模型，包括2个利润指标（总回报TR、年化回报率ARR）、3个风险调整利润指标（夏普比率SR、卡尔玛比率CR、索提诺比率SOR）、2个风险指标（最大回撤MDD、波动率Vol）和2个多样性指标（熵ENT、有效次数ENB）。

4.3 实验细节

以2021年1月1日为分界点划分数据集，2015年1月1日-2020年12月31日为训练集，2021年1月1日-2023年12月31日为测试集。测试阶段只能访问历史价格以避免数据泄露。对基线模型使用Optuna进行超参数优化，基于LLM的方法和HedgeAgents使用GPT-4-1106-preview版本，温度设置为0.7。框架中的记忆模块采用基于文本相似性的存储和检索机制，使用text-embedding-3-large模型，top-k值为5。

4.4 整体性能比较

选择多种经典和前沿的基线模型进行比较，包括三种经典的基于规则的量化投资策略（MV、ZMR、TSM）、三种基于强化学习的金融agent（SAC、DeepTrader、AlphaMix+）和三种基于LLM的方法（FinGPT、FinMem、FinAgent）。实验结果表明，与基于规则的策略相比，基于强化学习的方法在理解金融市场复杂性和不确定性方面能力更强，如DeepTrader和AlphaMix+的ARR显著高于基于规则的模型。基于LLM的方法能做出更明智的决策，在风险调整指标（如SR和CR）上超过基于强化学习的方法，如FinMem的ARR和TR显著高于基于强化学习的agent。HedgeAgents在所有指标上表现卓越，原因包括战略预算分配（实现最高的ARR和TR）、复杂的风险管理（MDD最低）以及多元化和稳健性（ENT和ENB最高）。

在这里插入图片描述

4.5 消融研究

各会议的有效性：通过消融研究评估ESC、BAC和EMC在多agent架构中的效用。结果表明，ESC对投资组合多元化和对冲个体资产尾部风险至关重要；BAC对回报影响最大；EMC对风险规避和回报稳健性非常重要；三个模块的协同作用显著影响整体性能。

在这里插入图片描述

LLM骨干的有效性：选择6个代表性的LLM模型（ChatGLM-6B、Baichuan-13B、Qwen-72B、Gemini 1.5 Pro、gpt-3.5-turbo-16k、gpt-4-1106-preview），将它们分别集成到HedgeAgents框架中测试投资性能。结果显示，框架不完全依赖于特定语言模型的能力；参数增加有助于提高投资回报，但参数多的模型风险也高；闭源模型在所有指标上表现出色，开源模型中Qwen-72B表现与闭源模型相当，最终选择GPT-4作为框架核心，系统三年总成本为15美元，平均每天仅2美分。

在这里插入图片描述

单资产无对冲性能：将数据集分为仅比特币、仅AAPL（股票）和仅YUAN（外汇）三类，评估所有模型在单资产无对冲策略下的能力。结果显示，在比特币交易中，HedgeAgents管理高波动性资产表现卓越；在股票市场中，HedgeAgents在AAPL股票上的表现优于竞争对手；在外汇市场中，HedgeAgents在YUAN上取得正回报并超过多个基线模型。

在这里插入图片描述