论文导读：Deep Attentive Learning for Stock Movement Prediction From Social Media Text and Company Correl

最新推荐文章于 2025-11-02 21:30:47 发布
原创 最新推荐文章于 2025-11-02 21:30:47 发布 · 957 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据挖掘 #自然语言处理 #深度学习 #机器学习 #人工智能

本文探讨了如何利用社交媒体信息（如Twitter）和历史股价数据预测股票走势。MAN-SF模型通过PriceEncoder和SocialMediaInformationEncoder编码价格和社交媒体信号，结合GraphAttentionNetwork进行预测。实验表明，这种多模态融合方法能有效增强预测能力。评价指标包括MCC，与传统技术相比，MAN-SF展现出优越性能。

1. Introduction

股票走势受到多方面影响，没有了解相关信息的投资决策会面临金融风险以及金钱损失，而仔细考虑过的投资可以使收益增大。传统的方法依赖于时间序列，以及对股票的分析，比如利用历史价格。然而只利用价格信号，难以捕捉一些突然发生的事件造成的影响。正如社交媒体，对股票的影响，然后举了个特朗普发推特导致洛克希德马丁公司股票下跌的例子。
提到有效市场假说（Efficient Market Hypothesis，EMH）,股票的价格反映了所有已知信息，

2. Related Works

传统啊的方法依赖于TA（Technical Analysis）,这种方法只关注于数字特征，比如历史价格，或者宏观经济参数GDP。
而新的方法，依赖于EMH， 被认定为一种FA（Fundamental Analysis）

3. Problem Formulation

MAN-SF的主要目标是暂时学习来自推文和历史价格信号的相关信息，并利用股票之间的公司关系来预测走势，本文进行的是一个二元预测，在这里插入图片描述
p d c p_d^c pdc​是指第d天的收盘价, 所以0表示下跌，1表示涨

4. MAN-SF：Components and Learning

整体结构如下图：
在这里插入图片描述
模型首先会编码某一个范围内的市场信息data：
x t = B ( c t , q t ) x_t= \Beta (c_t, q_t) xt​=B(ct​,qt​), 其中 c t c_t ct​是基于一个lag时间窗口关于一系列股票 S = [ s 1 , s 2 , . . , s S ] S=[s_1,s_2, .., s_S] S=[s1​,s

最低0.47元/天 解锁文章
论文阅读——Stock Movement Prediction from Tweets and Historical Prices
m0_46702604的博客
09-14 539
论文阅读——Stock Movement Prediction from Tweets and Historical Prices出处摘要动机介绍模型 出处 摘要 股票走势预测是一个具有挑战性的问题：市场是高度随机的，并且要根据混乱的数据做出与时间相关的预测。这篇文章处理这三种复杂性，并提出一个新颖的深度生成模型，共同利用文本和价格信号来完成这项任务。与判别式或主题建模不同，这篇文章引入了递归的、连续的潜在变量以更好地处理随机性，并使用神经变分推理来解决难以处理的后验推理，还提供了一个带有时间辅助的混合目标
论文导读： Stock Movement Prediction from Tweets and Historical Prices
OldDriver1995的博客
07-05 1991
这篇文章主要讲的是利用推特内容和股票历史价格推测股票走势。 Abstract 股票市场是随机的，预测是基于混沌的数据，本文提出一种深度生成网络–基于文本和价格信号，该模型介绍了recurrent，连续的潜在变量（continuous latent variable）来更好的处理随机性。然后利用神经变分推断（neural variational inference）来解决难以处理的后验推理，他们也提供带有时间辅助的混合目标函数，来灵活捕捉预测依赖。 1. Introduction 在NLP中，新闻和社交媒体是
stock-movement-prediction:使用高频数据预测股市
05-18
机器学习工程师纳米学位 顶石项目 项目：预测库存移动方向 安装 此项目需要Python 3.6和已安装的以下Python库： 您还需要安装软件才能运行和执行 我们建议安装 ，这是一个预包装的Python发行版，其中包含该项目的大多数必需库和软件。 代码 该代码在Notebooks文件夹中提供。 由于大小限制，不包括CSV文件和Clfs文件夹（经过训练的分类器池）。 跑步 在终端或命令窗口中，导航到顶层项目目录Notebooks/ （包含此自述文件）并运行以下命令之一： ipython notebook {name of notebook file}.ipynb 或者 jupyter notebook {name of notebook file}.ipynb 这将在浏览器中打开iPython Notebook软件和项目文件。 数据 该数据集由Github上某个帖子的1分钟库存数据
图神经网络分享系列-GAT(GRAPH ATTENTION NETWORKS) (二)
最新发布
flying_1314的博客
11-02 959
本文介绍了图注意力网络（GAT）的核心架构及其技术优势。GAT通过引入注意力机制，在计算节点特征时动态分配不同权重，解决了传统图神经网络的一些局限性。文章详细阐述了单图注意力层的实现，包括输入特征转换、注意力系数计算和多头注意力机制。GAT具有计算高效、可并行化、能处理有向图等优点，其时间复杂度与GCN相当。相比现有方法，GAT能隐式分配节点重要性，不依赖全局结构信息，适用于归纳学习任务。文章还探讨了GAT与MoNet模型的关联，并指出了当前实现中的计算优化方向。
SAP User Manual - Stock Movement
10-25
此手册描述了执行货物移动的操作方法。如仓库对采购订单收货、仓库对非生产用发料、物料退货换货、库存调拨等业务。
Few-shot Action Recognition with Prototype-centered Attentive Learning阅读笔记
weixin_42486554的博客
03-03 958
遇到的问题 相同类间存在交叉，还会存在一些外围的孤立样本，这种数据分布对于小样本识别而言会产生很大的影响。因此作者提出采用transformer中的自注意力来减轻这些限制。同时作者认为，以query样本为中心的匹配机制缺乏数据有效性，没有充分利用有限数据之间的分布关系，因此提出了一个以原型为中心的匹配作为补充。 方法 作者提出了一个原型为中心的注意学习模型，解决了类间重叠和外围孤立样本的问题。 1、 提出了HAL混合注意力学习，在支持集上应用自监督，在从查询集到支持集上应用交叉监督，从而降低类间差别 2
论文阅读：SoPhie: An Attentive GAN for Predicting Paths Compliant to Social and Physical Constraints
hbhhhxs的专栏
05-15 2320
苏菲:一个专注于预测符合社会和物理约束的路径的GAN 论文链接：https://arxiv.org/pdf/1806.01482.pdf 摘要：本文讨论了场景中多个交互代理的路径预测问题，这是许多自动驾驶平台（如自动驾驶汽车和社交机器人）的关键步骤。我们介绍SoPhie;基于生成对抗网络（GAN）的可解释框架，其利用场景的图像来利用两个信息源，场景中所有代理的路径历史以及场景上下文信息。要预测...
[论文阅读] ACT: An Attentive Convolutional Transformer for Efficient Text Classification
lq_fly_pig的博客
02-20 1840
一、前言 追一科技AAAI2021上的论文，主要是关于文本分类任务，论文地址：https://www.aaai.org/AAAI21Papers/AAAI-1396.LiP.pdf 二、主要思想 三、论文试验结果 四、主要讲解
论文阅读--DialogueRNN : An Attentive RNN for Emotion Detection in Conversations
qishengmoming的博客
01-16 1766
DialogueRNN An Attentive RNN for Emotion Detection in Conversations Navonil Majumder, Soujanya Poria, Devamanyu Hazarika, Rada Mihalcea, Alexander F. Gelbukh, Erik Cambria:DialogueRNN: An Attentive RNN for Emotion Detection in Conversations. AAAI 2019: 681
文献阅读_IJCAI_Improving Stock Movement Prediction with Adversarial Training
weixin_30471065的博客
07-08 400
花了一个周读了一下这篇论文，是最近接受在IJCAI上的一篇关于股票涨跌预测的模型，驳斥了传统方法基于静态输入的局限性，原因是由于股票的价格会在市场内随着时间不短变化，基于价格的特征实际上是随机变量。方法是采用对抗训练，在训练过程中加入随机噪声模拟股票在实际中收外界干扰的过程，模型是采用常规的深度学习模型LSTM+attention.达到的效果是比其他方法的准确率提高了3.11%。 Improvi...
浅谈深度学习：LSTM对股票的收益进行预测（Sequential 序贯模型，Keras实现）
linxinloningg的博客
12-11 4587
长短期记忆网络（[LSTM](https://baike.baidu.com/item/LSTM/1 LSTM简介 代码实现 其他尝试 LSTM 简介： 同RNN学习一样，我们只是先浅谈，所以只用知道两点就足够了： LSTM是什么，依旧百度百科：长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重
深入理解图注意力机制（Graph Attention Network）
04-21
图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络，Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT 可以实现对邻居的加权聚合。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了模型一定的可解释性。
paper：A Deep Learning based Stock Trading Model with 2-D CNN Trend Detection 2D CNN模型
David_7788的博客
01-09 363
paper：A Deep Learning based Stock Trading Model with 2-D CNN Trend Detection 2D CNN 模型
Graph Attention Networks(图自注意力网络)
小鱼的小窝
07-16 9844
Graph Attention Networks(图自注意力网络)
Graph Attention Network (GAT) 图注意力模型
酒酿小圆子呀～
07-07 1万+
文章目录 GAT模型的提出，可见ICLR 2018论文 GRAPH ATTENTION NETWORKS
原创 | 图注意力神经网络(Graph Attention Networks)综述
数据派THU
07-19 8678
作者：邓杨 本文约6300字，建议阅读10分钟本文根据提出GAT文章Velickovic et al.(2017)中论述的顺序，简单介绍一下GAT的工作原理。数无形时少直觉，形少数时难入微–华罗庚1 图注意力神经网络的介绍1.1GAT的原理与特性图形，由点、线、面和体构成，代表了一种理解抽象概念和表达抽象思想的有效工具。图形语言的优势在于其跨越语言障碍的能力，这种能力和技术大多是人类为了理解世...
图注意力网络——Graph attention networks (GAT)
热门推荐
qq_41977459的博客
04-19 2万+
文章目录摘要引言 摘要   图注意力网络，一种基于图结构数据的新型神经网络架构，利用隐藏的自我注意层来解决之前基于图卷积或其近似的方法的不足。通过堆叠层，节点能够参与到邻居的特征，可以(隐式地)为邻域中的不同节点指定不同的权值，而不需要任何代价高昂的矩阵操作(如反转)，也不需要预先知道图的结构。通过这种方法，该模型克服了基于频谱的故神经网络的几个关键挑战，并使得模型适用于归纳和推理问题。在四个数据集上实现或匹配了最先进的结果（Cora, Citeseer, Pubmed citation network,
graph attention network
weixin_47055840的博客
04-19 904
参考博客：Graph Attention Networks学习笔记 - 知乎 (zhihu.com) 在本文中，作者提出了一种基于attention的节点分类网络——GAT。其基本思想是，根据每个节点在其邻节点上的attention，来对节点表示进行更新。GAT具有以下几个特点：（1）计算速度快，可以在不同的节点上进行并行计算；（2）可以同时对拥有不同度的节点进行处理；（3）可以被直接用于解决归纳学习问题，即可以对从未见过的图结构进行处理。Graph Attentional Layer 输入： .
IJCAI2019 FinNLP（金融+NLP论文）
black_soil的专栏
09-30 5533
今年的IJCAI增加了金融技术和自然语言处理研讨会（FinNLP 研讨会），主要是分享将NLP技术应用于金融科技领域的研究，探讨未来的研究方向。 参与者来自学术界和工业界，他们提出了几个新的任务，包括业务分类法构建，交易的基本原理和合同消歧、销售预测、股票市场预测、情感分析等等。下面将详细介绍。 1. Business Taxonomy Construction Using Concep...
SAViR-T: Spatially Attentive Visual Reasoning with Transformers
05-08
<think>好的，用户现在想了解SAViR-T模型，也就是“Spatially Attentive Visual Reasoning with Transformers”的实现和应用，特别是在视觉推理领域。首先，我需要明确用户的问题，然后结合提供的引用内容来构建回答。 首先，我得回忆一下现有的知识。SAViR-T可能结合了空间注意力和Transformer结构，用于视觉任务，比如图像理解或推理。用户提供的引用中有几篇提到了空间注意力、Transformer在视觉中的应用，比如ViT、SA-M4C等，这些可能相关。 引用1提到ViT使用Transformer处理图像块，但计算成本高，而其他方法结合卷积和Transformer的优势。引用3中的SA-M4C在文本VQA任务中加入了空间关系图，并替换了自注意力为空间感知的自注意力。这可能与SAViR-T的空间注意力机制有关联。 接下来，我需要确定SAViR-T的具体实现。可能它采用了类似SA-M4C的方法，引入空间注意力来增强Transformer对图像不同区域的关注。例如，在处理图像时，可能先通过卷积提取低级特征，再用Transformer处理高级特征，并结合空间注意力机制，动态关注关键区域，提高推理能力。 应用方面，视觉推理可能涉及VQA、场景理解、目标关系推理等。SAViR-T可能在需要空间关系的任务中表现更好，比如理解物体之间的位置关系，或者根据空间上下文进行推理。 需要检查是否有引用直接提到SAViR-T。提供的引用中没有明确提到这个模型，但引用3的SA-M4C使用了空间感知的Transformer，引用1讨论了卷积与Transformer的结合，引用4关于空间正则化的相关滤波器可能对空间注意力机制有启发。因此，可能需要综合这些信息来推断SAViR-T的结构。 可能的实现步骤：输入图像经过CNN提取特征，生成空间特征图，然后将这些特征转换为token，输入到Transformer中，同时加入空间注意力模块，使模型能够关注不同区域之间的关系。在解码阶段，可能结合任务特定的头，如分类或回归，进行视觉推理。 应用场景可能包括视觉问答、图像描述生成、场景图生成等需要理解物体间空间关系和上下文的任务。例如，在VQA中，模型需要根据问题定位相关区域并推理答案。 还需要考虑用户可能的深层需求，比如如何实现空间注意力，或者SAViR-T与其他模型（如ViT、DETR）的区别。根据引用3，空间注意力的实现可能涉及构建空间关系图或修改自注意力机制，以包含位置信息。 最后，确保回答结构清晰，分模块说明模型结构、实现技术和应用场景，并生成相关问题，帮助用户进一步探索。</think>### SAViR-T（Spatially Attentive Visual Reasoning with Transformers）模型解析 #### 核心思想 SAViR-T是一种结合空间注意力机制与Transformer架构的视觉推理模型，旨在通过动态关注图像的关键区域来提升复杂视觉任务的性能，例如视觉问答（VQA）、场景理解和关系推理。其核心思想是通过以下两点实现高效推理： 1. **空间注意力**：通过位置编码和注意力权重分配，聚焦于图像中与任务相关的区域。 2. **多模态融合**：若涉及文本或语音输入，通过Transformer实现跨模态信息交互[^3]。 --- ### 模型结构与实现技术 #### 1. **特征提取阶段** - **卷积层提取低级特征**：使用ResNet或类似CNN提取图像的局部纹理、边缘特征，避免纯Transformer在低级特征学习上的低效性[^1]。 - **空间特征图生成**：将CNN输出的特征图编码为空间token序列，例如将$H \times W \times C$的特征图展平为$N=H \times W$个向量，每个向量对应图像的一个区域。 #### 2. **空间注意力增强的Transformer编码器** - **位置编码**：为每个token添加2D位置编码（例如$(\sin(x_i), \cos(x_i), \sin(y_i), \cos(y_i))$），保留空间信息。 - **空间感知自注意力**：修改标准的自注意力机制，引入空间约束： $$ \text{Attention}(Q,K,V) = \text{Softmax}\left(\frac{QK^T}{\sqrt{d_k}} \odot M_{\text{spatial}}\right)V $$ 其中$M_{\text{spatial}}$为空间关系掩码，抑制不相关区域间的注意力权重[^3]。 #### 3. **推理与任务适配** - **跨模态交互**：在VQA任务中，将文本问题编码为token序列，与视觉token进行交叉注意力计算[^3]。 - **动态推理头**：根据任务类型设计输出层，例如分类头（预测答案）或回归头（预测目标坐标）。 --- ### 应用场景 1. **视觉问答（VQA）** 例如回答“红色杯子左侧是什么物体？”，模型需定位红色杯子并分析其空间关系[^3]。 2. **场景图生成** 解析图像中物体的属性及其相互关系（如“人骑自行车”）[^3]。 3. **目标检测与跟踪** 结合空间注意力优化目标定位，减少背景干扰[^4]。 --- ### 性能优势与挑战 - **优势**： - 相比纯Transformer（如ViT），计算效率更高（CNN+Transformer分工）[^1]。 - 空间注意力提升细粒度推理能力（如遮挡场景下的目标识别）[^4]。 - **挑战**： - 需要大量标注数据训练跨模态交互模块。 - 复杂空间关系的长程建模仍依赖注意力机制的计算复杂度[^1]。 --- ### 代码实现示例（简化版） ```python import torch from torch import nn from transformers import TransformerEncoder, TransformerEncoderLayer class SAViRT(nn.Module): def __init__(self, cnn_backbone, d_model=512, nhead=8): super().__init__() self.cnn = cnn_backbone # 预训练ResNet self.pos_encoder = PositionalEncoding2D(d_model) encoder_layer = TransformerEncoderLayer(d_model, nhead) self.transformer = TransformerEncoder(encoder_layer, num_layers=6) def forward(self, x): # 特征提取与空间编码 features = self.cnn(x) # [B, C, H, W] B, C, H, W = features.shape features = features.view(B, C, H*W).permute(2, 0, 1) # [N, B, C] features = self.pos_encoder(features) # 添加2D位置编码 # 空间注意力增强的Transformer output = self.transformer(features) return output class PositionalEncoding2D(nn.Module): def __init__(self, d_model): super().__init__() self.d_model = d_model def forward(self, x): # 假设x的shape为[N, B, C], N=H*W H = int(x.shape[0]**0.5) W = H pos_x = torch.arange(H).unsqueeze(1).repeat(1, W).flatten() pos_y = torch.arange(W).unsqueeze(0).repeat(H, 1).flatten() pos_enc = positional_encoding(pos_x, pos_y, self.d_model) return x + pos_enc.to(x.device) ``` ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值