c_cpp_csharp的专栏

模型设计Fin-R1是一个专为金融领域设计的轻量级大语言模型（70亿参数），通过监督微调（SFT）和强化学习（RL）两阶段训练框架，解决金融推理中的核心问题。数据集构建提出了高质量金融推理数据集，包含60,091条多维度金融知识样本，涵盖中文和英文双语内容，通过数据蒸馏和过滤确保准确性。训练方法监督微调（SFT）：基于Qwen2.5-7B-Instruct模型，优化金融推理能力。强化学习（RL）

大型语言模型 (LLM) 具有先进的金融应用，但它们通常缺乏足够的金融知识，并且难以处理涉及表格和时间序列数据等多模态输入的任务。为了解决这些限制，我们引入了 Open-FinLLM，这是一系列金融 LLM。我们从 FinLLaMA 开始，它在 520 亿个token金融语料库上进行了预训练，结合文本、表格和时间序列数据来嵌入全面的金融知识。然后，FinLLaMA 使用 573K 财务指令进行指令微调，形成 FinLLaMA 指令，从而提高任务性能。

大型语言模型（LLM）正越来越多地应用于各个专业领域，利用其广泛的知识来支持这些领域中的多种场景。然而，每个领域都包含各种需要学习的特定任务，这些领域中多样化、异构的数据可能会导致模型任务转移过程中的冲突。为了应对这一挑战，我们的研究引入了一种自适应语义空间学习（ASSL）框架，该框架利用语义空间内数据分布的自适应重组来提高多专家模型的性能和选择效率。利用这个框架，我们训练了一个名为“SilverSight”的金融多任务LLM。

人工智能（AI）技术，特别是大型语言模型（LLMs）在金融领域的整合引起了越来越多的学术关注。尽管取得了进展，但现有的研究主要集中在金融文本摘要、问答（Q&A）和股票走势预测（二元分类）等任务上，LLM在金融风险预测中的应用存在显著差距。为了弥补这一差距，本文介绍了RiskLabs，这是一个利用LLM分析和预测金融风险的新框架。RiskLabs独特地结合了不同类型的财务数据，包括来自收益电话会议（ECC）的文本和声音信息、与市场相关的时间序列数据以及围绕ECC发布日期的上下文新闻数据。

在金融分析领域，利用非结构化数据（如财报电话会议）来预测股票表现是一项关键挑战，吸引了学者和投资者。虽然以前的研究使用基于深度学习的模型来获得对ECC的总体看法，但它们往往无法捕捉到详细、复杂的信息。我们的研究引入了一种新的框架：ECC分析器，结合了大型语言模型（LLM）和多模态技术，以提取更丰富、更具预测性的见解。该模型首先总结了文本的结构，并通过检测音频的音调和音高变化来分析说话者的模式和置信水平。这一分析有助于投资者形成对ECCs的总体看法。

尽管大型语言模型（LLM）的发展显著推动了财务分析，但其应用在很大程度上仅限于单一语言领域，使中英双语能力的潜力尚未得到开发。为了弥合这一鸿沟，我们引入了ICE-PIXIU，将ICE-INTENT模型和ICE-FLARE基准无缝合并，用于双语财务分析。ICE-PIXIU独特地集成了一系列中文任务，以及翻译和原始英文数据集，丰富了双语金融建模的广度和深度。

由于缺乏领域专家和使用成本较高，在金融领域收集标记数据集具有挑战性。虽然大型语言模型（LLM）在一般领域数据集的数据注释任务中表现出了显著的性能，但其在特定领域数据集上的有效性仍有待探索。为了解决这一差距，我们研究了LLM作为提取财务文档中关系的有效数据注释器的潜力。我们将三个LLM（GPT-4、PaLM 2和MPT Instruction）生成的注释与专家注释器和众包工作者进行了比较。我们证明，目前最先进的LLM可以充分替代非专家众包工作者。

我们介绍了FinTral，这是一套最先进的多模态大型语言模型（LLM），建立在Mistral-7b模型的基础上，专门用于财务分析。FinTral集成了文本、数字、表格和图像数据。我们利用我们为这项工作策划的大量文本和视觉数据集，通过特定领域的预训练、指令微调和RLAIF训练来增强FinTral。我们还引入了一个广泛的基准，其中包括9个任务和25个数据集用于评估，包括金融领域的幻觉。

对于传统的非生成深度学习模型来说，解释股票预测通常是一项困难的任务，因为解释仅限于可视化重要文本的注意力权重。如今，大型语言模型（LLM）为这个问题提供了一种解决方案，因为它们具有为决策过程生成人类可读解释的已知能力。然而，股票预测的任务对LLM来说仍然具有挑战性，因为它需要能够权衡混乱的社会文本对股价的不同影响。随着解释部分的引入，这个问题变得越来越困难，这需要LLM口头解释为什么某些因素比其他因素更重要。

大型语言模型（LLM）正逐渐被用于财务分析，以利用其广泛的知识库来解释复杂的市场数据和趋势。然而，它们在金融领域的应用受到内在偏见（即风险偏好偏见）和对市场复杂性的肤浅理解的挑战，这突出了对其金融洞察力进行彻底评估的必要性。这项研究引入了一个新的框架，即财务偏见指标（FBI），以批判性地评估LLM的财务合理性，重点是它们辨别和驾驭财务信息微妙之处的能力，以及识别任何可能扭曲市场分析的非理性偏见的能力。我们的研究采用了一种创新的方法来衡量财务合理性，结合行为金融学的原理来审视LLM的偏见和决策模式。

大型语言模型（LLM）是计算密集型的。计算工作负载和内存占用空间随维度（层宽度）呈二次方增长。LLM的大多数参数来自transformer结构的线性层，并且是高度冗余的。这些线性层贡献了80%以上的计算工作量和99%的模型大小。为了有效地预训练和微调LLM，有三个主要挑战需要解决：1）减少线性层的冗余；2） 减少GPU内存占用；3） 在使用分布式训练时提高GPU利用率。现有的方法，如LoRA和QLoRA，分别利用低秩矩阵和量化来减少可训练参数的数量和模型大小。然而，生成的模型仍然会消耗大量的GPU内存。

像ChatGPT和GPT-4这样的大型语言模型在理解和生成自然语言方面表现出了令人印象深刻的熟练程度。然而，他们在适应会计等专业领域的任务时会遇到困难。为了应对这一挑战，我们引入了kuaiji，一个量身定制的会计大语言模型。kuaiji使用百川框架进行了精心的微调，该框架包括持续的预训练和监督微调过程。在包含15677个真实会计-客户对话的CAtCatQA数据集的支持下，kuaiji展现出非凡的准确性和响应速度。

LLM已经改变了NLP，并在各个领域表现出了希望，但由于缺乏彻底的评估和财务任务的复杂性，它们在财务方面的潜力没有得到充分挖掘。这与LLM的快速发展一起，凸显了对LLM系统财务评估基准的迫切需求。在本文中，我们介绍了FinBen，这是第一个全面的开源评估基准，专门用于彻底评估LLM在金融领域的能力。FinBen包含23项金融任务的35个数据集，受CattellHorn-Carroll理论的启发，分为三个难度谱，以评估LLM在归纳推理、联想记忆、定量推理、结晶智能等方面的认知能力。

交易区间突破（TRB）是金融交易技术分析的一种关键方法，广泛应用于股票、期货和外汇等金融市场的交易员。然而，区分真实和虚假突破以及提供正确的理由给投资者带来了重大挑战。最近，大型语言模型在各种下游应用程序中取得了成功，但在金融突破检测领域的有效性一直较差。原因是漏诊检测需要独特的数据和特定的知识。为了解决这些问题，我们引入了BreakGPT，这是第一个用于金融突破检测的大型语言模型。此外，我们还为大型语言模型开发了一种新的框架，即多级结构，有效地减少了下游应用程序中的错误。

大型语言模型（LLM）在各种自然语言处理（NLP）任务中表现出了非凡的能力，并吸引了包括金融服务在内的多个领域的关注。尽管对一般领域LLM进行了广泛的研究，并在金融领域具有巨大的潜力，但金融LLM（FinLLM）的研究仍然有限。本调查全面概述了FinLLM，包括其历史、技术、性能以及机遇和挑战。首先，我们按时间顺序概述了从通用领域预训练语言模型（PLM）到当前的FinLLM，包括GPT系列、选定的开源LLM和金融LM。其次，我们比较了金融PLM和FinLLM使用的五种技术，包括训练方法、训练数据和微调方法。

自然语言处理（NLP）最近通过提供对公司和市场财务文件的高度有价值的见解，在金融机构中获得了相关性。然而，由于文本的复杂性和特定术语的使用，金融领域的前景给NLP带来了额外的挑战。即使在使用具有良好自然语言理解和生成能力的大型语言模型（LLM）时，泛化语言模型也往往无法完成专门为金融量身定制的任务。本文针对金融领域，高度重视金融情绪分析，对LLM自适应方法进行了研究。为此，使用多种策略对两个参数小于1.5B的基础模型进行了调整。我们表明，通过对财务文件和说明进行仔细的微调，这些基础模型可以适应目标领域。