Xidian185的专栏

原创 基于机器学习的多因子量化策略（3）

多因子量化策略是一种通过数学建模整合多个预测性指标（因子），系统化筛选股票并构建投资组合的科学投资方法。基于机器学习的多因子量化策略是通过机器学习的方法建模，而非通过人工规则的方式，这样做的好处是能够发现更复杂的因子与因子之间的关系、因子与收益之间的非线性关系。

原创 基于机器学习的多因子量化策略（1）

多因子量化策略是一种通过数学建模整合多个预测性指标（因子），系统化筛选股票并构建投资组合的科学投资方法。基于机器学习的多因子量化策略是通过机器学习的方法建模，而非通过人工规则的方式，这样做的好处是能够发现更复杂的因子与因子之间的关系、因子与收益之间的非线性关系。

原创 基于机器学习的多因子量化策略（4）

本篇我们介绍一个深度学习模型（LSTM）用于收益率预测，我们分别从数据分析、模型训练、效果分析和模型介绍四个方面展开。

原创 牛市与熊市：市场周期的双面镜

上证指数从2005年998点飙升至2007年6124点，全民炒股热潮涌现，但随后因全球金融危机转入熊市，2008年暴跌至1664点。：指资产价格持续上涨（通常涨幅超20%），市场情绪乐观，投资者积极买入。：指资产价格持续下跌（通常跌幅超20%），市场情绪悲观，投资者抛售避险。：新冠疫情暴发后，标普500指数1个月内暴跌34%，创史上最快熊市纪录，但美联储救市后迅速反弹，开启新一轮牛市。历史数据显示，美股牛市长约5.8年，熊市平均1.3年，A股周期更短且波动更大。：增持现金、国债或黄金，降低股票仓位。

原创 公募基金与私募基金：投资者的两把钥匙

公募与私募并非优劣之分，而是风险收益特征的差异选择。普通投资者宜以公募基金构筑资产基底，高净值群体可配置部分私募资产提升组合锐度。（个人意见，仅供参考。投资有风险，入市需谨慎）

原创 多头与空头：市场博弈的两面

又称“看涨方”，是指投资者预期某项资产（如股票、商品、货币等）的价格未来会上涨，因而采取“先买入，后卖出”的策略。多头投资者通常在低价时买入资产，等待价格上涨后卖出，赚取差价利润。，又称“看跌方”，则相反。空头投资者认为某项资产的价格未来会下跌，因而采取“先卖出，后买入”的策略。：投资者小Tech研究A公司后，发现其财务数据存疑，认为股价可能下跌。：潜在亏损无限（如股票一直上涨，空头需不断补仓），且可能遭遇“逼空”行情。：投资者小Fin研究A公司后，认为其业绩向好，未来股价可能上涨。

原创 国债与企业债：稳健与高收益的债券选择

避免盲目追求高收益，警惕“垃圾债”（如收益率超10%的债券，违约风险极高）。：50%国债 + 50%中高收益企业债（需研究公司基本面）。若中途卖出，价格可能受利率影响波动（利率升，债券价格跌）。：70%国债 + 30%高评级企业债（如AAA级央企债）。：取决于公司经营状况，可能违约（如某大地产暴雷）。：优质企业债机会更多（企业盈利改善，违约率下降）。：通常高于国债（5%-10%+），但风险也更高。面值100元，票面利率3.2%，期限10年。：国债更受青睐（资金避险，价格可能上涨）。（个人意见，仅供参考。

原创 债券与股票：投资市场的两大基石

收益稳定，但上限低（利率固定）。

原创 基于机器学习的多因子量化策略（2）

介绍在Alpha158因子集上训练GBDT模型预测收益率，我们提出根据每个因子的IC值，选择前30个特征，重新训练模型然后做回测。

原创 量化交易策略之基于机器学习的配对交易策略

配对交易策略是基于统计套利的市场中性策略，它的核心思想是‌具有长期协整关系的资产价差会围绕均值波动‌。配对交易策略交易思路是当价差偏离历史均值时，做空相对高估的资产，同时做多相对低估的资产，待价差回归后平仓获利。

原创 .py打包成.so

将python文件打包成so文件，可以在python工程中引用。

原创 第一篇 交叉验证器

机器学习中的交叉验证

原创 Siamese Network简单复现

使用pytorch实现孪生模型

原创 导入apex出现ImportError: cannot import name ‘UnencryptedCookieSessionFactoryConfig’

问题描述：在conda环境导入apex时候，出现错误：ImportError: cannot import name ‘UnencryptedCookieSessionFactoryConfig’ from ‘pyramid.session’ (unknown location)，我们环境中的apex是使用pip install apex安装的。解决办法下载apex安装文件，手动安装！不再使用pypi管理的apex！1、git clone git://github.com/NVIDIA/apex2

原创 解决fatal: unable to access‘‘:GnuTLS recv error

问题描述使用git clone https://github.com/NVIDIA/apex 下载apex，结果出现：fatal: unable to access 'https://github.com/NVIDIA/apex/': GnuTLS recv error (-110): The TLS connection was non-properly terminated.解决方案将命令中https改成git，变成git clone git://github.com/NVIDIA/apex即可！

原创 PyTorch转换ONNX，再转换TensorRT，实现模型加速

测试环境介绍ubuntu20.04显卡：Tesla 3090Driver Version: 460.91.03CUDA Version: 11.2关键代码pytorch转换ONNX部分：device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = BertForSequenceClassification.from_pretrained(out_dir) model.eval(

原创 基于脱敏数据，使用huggingface的Transformers预训练模型

背景：一些竞赛给的是脱敏数据，中文竞赛一般将汉字表示为一个整数，汉字间用空格分割，在这样的数据集上想要预训练一个自己的模型，可以参考这个文章。首先介绍本文参考的文章：1、别人做的该任务的总结2、官方tokenizer训练tokenizer注：这里我使用的是wordlevel的，和参考文档中wordpiece的不同，因为我认为脱敏得到的数字前缀没有意义。import pandas as pdfrom tokenizers import decoders, models, normalizers

原创 pyinstaller 打包程序出错 Failed to execute script pyi_rth_pkgres

Failed to execute script pyi_rth_pkgres 解决

原创 linux修改python版本后yum出错解决办法

解决：File "/usr/bin/yum", line 30 和 File "/usr/libexec/urlgrabber-ext-down", line 28

原创 Word2Vec构造词向量实战

使用gensim包的Word2Vec构造中文词向量，并且计算词的相似度。注：本文使用的语料是随便拷贝的几段中文语句，一段语料一行。1、处理中文语料，使用结巴分词，构造列表import jiebaimport codecsINPUT_RAW = r"F:\BaiduNetdiskDownload\kkb NLP\语料.txt"OUTPUT_FENCI = r"F:\BaiduNetdiskDownload\kkb NLP\语料-分词.txt"fin = codecs.open(INPUT_RA

原创 解决“Failed to get convolution algorithm“

Unknown: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above.本地环境：Tensorflow 2.1CuDNN 7.6.5cudatoolkit 10.1.243版本是匹配的！问题出在GPU使用的时候没有设置使用比例，导致GPU使

原创 解决Unable to find \PyQt5\Qt\translations\qtwebengine_locale和No module named 'PyQt5.QtWebEngineWidgets

场景：1、使用pyinstaller打包的时候出现Unable to find "E:\anaconda3\lib\site-packages\PyQt5\Qt\translations\qtwebengine_locales" when adding binary and data files.2、在程序中引用QtWebEngineWidgets的时候原因：pyqt5的v5.11及以上版...

原创 CenterOS部署docker

一般我们采用最简单的yum直接安装的方法，比如w3cshcool centeros docker安装，但是经常会遇到由于源的问题，网速过慢，导致安装报错[Errno 12] Timeout ，添加其他源后也不好使，此处介绍一个直接使用rpm离线安装的方法。1、查看自己的操作系统，确认需要安装的docker相应版本。我安装17.12.0.ce-1.el7.centos.x86_64。[root@...

原创 Transformer代码详解与项目实战之Masking

在此模型中Masking有两种，分别是Padding Masking和Look-ahead Masking。Padding Masking：遮挡一批序列中所有的填充标记（pad tokens）。这确保了模型不会将填充作为输入。此模型使用0作为填充数据，mask的值表明填充值 0 出现的位置：在这些位置 mask 输出 1，否则输出 0。Look-ahead Masking：前瞻遮挡（look-...

原创 Transformer代码详解与项目实战之Layer Normalization

在Transformer模型中，使用到了Layer Normalization思想，来源于论文#论文来源#为了方便介绍其原理，此处对Batch Normalization 和 Layer Normalization进行对比。两个算法都使用均值和标准方差对数据进行标准化处理！对矩阵中每一个元素减去均值，然后除以标准差。 差别在于：均值和标准差的计算方法不同！Batch Normalizati...

原创 Transformer代码详解与项目实战之Position Encoding

因为Transformer模型并不包括任何的循环（recurrence）或卷积，所以给模型添加位置编码，为模型提供一些关于单词在句子中相对位置的信息。位置信息实现方式有两种：1、在模型中训练得到；2、直接使用公式计算。论文中使用的第二种方式，此处对第二种方式进行解析。如图所示：pos代表单词在句子中的位置，i代表单词向量中每一个数值的位置。一般，句子长度使用seq_len表示，词向量长度使用...

原创 Numpy中的Broadcasting机制

1、设计背景不同矩阵做算数运算的时候，由于维度不同，需要进行维度扩展，但是维度扩展会造成计算效率降低，Numpy为了解决此问题，采用了虚拟维度扩展机制，既保证计算合理，又提升效率。例如：a = np.array([1.,2.,3.])b = np.array([1.,1.,1.])c = 1.d = a + be = a + cprint("d:", d)print("e:", ...

原创 TensorFlow2 模型建立与训练

首先，强力推荐大神关于Tensoflow2的介绍文档！文档链接模型的构建： tf.keras.Model 和 tf.keras.layers模型的损失函数： tf.keras.losses模型的优化器： tf.keras.optimizer模型的评估： tf.keras.metrics任务介绍：自定义模型完成 MNIST 手写体数字图片数据集的分类任务！代码如下：import ten...

原创 Jupyter Notebook中切换conda虚拟环境

1、打开Anaconda Prompt注：一般默认进入base环境，输入conda deactivate退出2、安装ipykernel输入：conda install ipykernel注：可能会出现在现有源中找不到可用插件的问题。登录http://pypi.doubanio.com/simple/ ，找到ipykernel，下载whl文件，然后输入命令“conda install 本地...

原创 李宏毅-机器学习&深度学习-第七讲-DNN训练技巧

视频地址：哔哩哔哩-李宏毅深度学习

原创 李宏毅-机器学习&深度学习-笔记-第二练习-二分类

题目：根据数据集训练二分类模型。#1、通过数据路径读取数据X_train、Y_train、X_testimport numpy as npnp.random.seed(0)X_train_fpath = 'E:/BaiduNetdiskDownload/course_LeeML20-datasets/course_LeeML20-datasets/hw2/data/X_train'Y_...

原创 李宏毅-机器学习&深度学习-第七讲-反向传播

本课介绍了深度学习模型中，使用梯度下降更新参数时候使用的反向传播，介绍其原理和推导方式。

原创 李宏毅-机器学习&深度学习-第六讲-深度学习介绍

哔哩哔哩视频地址：https://www.bilibili.com/video/av94411666?p=10李宏毅深度学习–第六讲–深度学习介绍

原创 李宏毅-机器学习&深度学习-第五讲-逻辑回归

原创 李宏毅-机器学习&深度学习-第四讲-分类

原创 李宏毅-机器学习&深度学习-第三讲-模型质量评估

原创 李宏毅-机器学习&深度学习-笔记-第一练习-线性回归

import numpy as npimport matplotlib.pyplot as pltfrom tqdm import tqdm_notebookx_data = [338.,333.,328.,207.,226.,25.,170.,60.,208.,606.]y_data = [640.,633.,619.,393.,428.,27.,193.,66.,226.,1591...

原创 李宏毅-机器学习&深度学习-第二讲-梯度下降

原创 李宏毅-机器学习&深度学习-第一讲-线性回归

原创 Anaconda下配置pyltp

经过查询资料，目前为止pyltp不能兼容python3.7，所以我在Anaconda下先新建安装了python3.6的环境，然后在这个环境安装pyltp.配置一个python3.6环境(base) C:\Users\1>conda create -n py36 python=3.6 //创建python3.6的虚拟环境在此环境安装pyltp(base) C:\Users...