
教程
weixin_40248634
清华大学计算机硕士
展开
-
PyG两个data Datsaset v.s. InMemoryDataset
可以看到InMemoryDataset 对CPU更加友好。原创 2023-10-10 18:16:23 · 202 阅读 · 0 评论 -
QM9 数据集性质预测的单位
如果做3D分子性质预测的时候,需要用HAR2EV=27.211386246进行转换,然后1000meV = EV, 因此最后MAE的loss 应该*1000.原创 2023-09-18 16:12:19 · 1132 阅读 · 0 评论 -
import torch出现 invalid syntax
只要卸载dill 然后重装就行。原创 2023-09-06 15:38:27 · 1136 阅读 · 0 评论 -
eden 安装
【代码】eden 安装。原创 2023-07-31 10:14:23 · 272 阅读 · 0 评论 -
latex 隐藏当前字符,不显示在pdf
如果您不需要在PDF中保留文本的空间和位置,可以使用\phantom{}命令的另一个替代命令:\hide{}。例如,\phantom{text}会在PDF中显示出空白,但是保留了文本text的空间和位置,类似于占位符的作用。需要注意的是,\hide{}命令不是LaTeX默认的命令,需要在导言区添加\usepackage{ulem}或\usepackage{cancel}这样的宏包才能使用该命令。或者,您也可以使用\iffalse和\fi命令,将需要隐藏的文本用这两个命令夹起来,实现完全隐藏的效果。原创 2023-05-09 10:25:01 · 2963 阅读 · 1 评论 -
Zscore Normalization(Z-Score)标准化
https://blog.youkuaiyun.com/Orange_Spotty_Cat/article/details/80312154原创 2023-03-30 09:44:56 · 623 阅读 · 0 评论 -
Latex caption居中
设置\captionsetup{justification = centerlast} 即可表格或者图片的标题居中。THU Latex 模板。原创 2023-03-27 20:50:33 · 1984 阅读 · 0 评论 -
Qlib使用
注意每支股票都要保存成单独一个文档,且文档名字与股票代号一致。其中factor 也就是中提到的复权。youbube 教程使用Qlib时候直接使用 Data Handler, 是上面的封装,所以Data Handler 也自然可以使用"label"的设置。自定义所以 最后其实是可以直接用 DatasetH 来设置的。原创 2023-03-24 15:22:40 · 1104 阅读 · 0 评论 -
Qlib Risk analysis (风险分析代码)
可以打印出analysis_df 看。原创 2023-03-16 17:28:20 · 358 阅读 · 0 评论 -
使用工具去除图片的背景(PPT)
一般做PPT时候需要贴一些logo,比如学校的logo,所以需要将其白色背景去掉,有几种方法。原创 2023-03-13 10:48:45 · 1719 阅读 · 0 评论 -
Qlib从csv, pickle 加载数据进data_loader
QlibDataLoader用于加载已经转换为qlib格式的数据。如果直接从外部文件中读取数据,可以使用StaticDataLoader。原创 2023-03-06 10:20:41 · 740 阅读 · 0 评论 -
多因子模型(MFM)
Alpha定义Alpha和Beta是相辅相成的,分别是使用线性回归将组合收益率分解为与业绩基准相关的部分和业绩基准不相关的残差部分。如果rp(t)是投资组合在时点t =1,2,3,…,T上的超额收益率,rg(t)是业绩基准在同时期的超额收益率,那么回归模型为:。组合P的残差收益率是:根据定义,业绩基准组合的残差收益率总是等于零,即θg=0总是成立。因此,业绩基准组合的Alpha必然等于零,为了保证αg =0,我们要求股票层面的Alpha列向量满足业绩基准中性的约束。原创 2023-02-22 16:54:50 · 2652 阅读 · 0 评论 -
风险的定义以及CAPM 和 APT
投资组合的收益率等于组合中各资产收益率的加权平均,但是投资组合的标准差并不等于组合中各资产标准差的加权平均,而是小于等于组合中各资产标准差的加权平均,这是进行组合投资分散风险的关键即整体风险小于部分风险之和等号成立当且仅当两支股票收益率完全线性相关,即ρAB1ρAB1即标准差是不能直接相加的, 而iid变量的方差是可以的,根据方差公式计算就可以。那么在估计投资组合整体风险时,我们需要估计N个波动率以及N*(N-1)/2个相关系数的估计值。原创 2023-02-22 16:36:27 · 1000 阅读 · 0 评论 -
因子的有效性检验(IC)
使用神经网络的预测值作为因子载荷(因子暴露,因子值 factor)时, 我们需要知道这个因子是否是有效的,所以要做因子的有效性检验。举个例子,票池里5只个股第T期在动量因子上的暴露度为-2、-1、0、1、2,假设它们第T+1。在实际计算中,因子k的IC值一般是指个股第T期在因子k上的暴露度 与 T+1期的收益率的。复杂的包括其它因子和行业哑变量的多元线性回归模型中,因子t值和IC的关系也随之变得。该因子进行收益率预测的稳健性;上反映的也是稳健性信息,在上述举例的两种简单情形下,因子t值都是正无穷。原创 2023-02-22 14:24:45 · 3177 阅读 · 0 评论 -
vscode SSH 保存密码自动登录服务器vs code
先在win local /mac 上拿到公钥和私钥,然后再把这公钥copy 进服务器。让ssh 身份认证转化为秘钥认证原创 2023-02-22 12:42:44 · 40216 阅读 · 11 评论 -
Vs code git 直接连接 github(无需通过服务器就可以将服务器内容push到github)
直接点击source control, 根据提示就可以自动安装git, 然后选择自动授权 vs code 跟 github, 跳到网页输入github 密码就登录上去了。使用里边的clone, 将github的repo clone 下来,并且后面根据提示将remote 文件加入当前workspce 就可以正常使用 push pull 那些了。原创 2023-02-21 14:16:58 · 192 阅读 · 0 评论 -
vs code 远程连接服务器并debug (python)
重点来了,就是使用vscode进行调试,让我们在远程连接服务器的使用感与在本地上一样。然后,在.vscode文件夹下面创建3个json文件,launch.json、setting.json、task.json (这些文件通用的,一般直接用下面的就可以)首先在你项目的文件夹下,创建一个.vscode文件夹,其实也是也可以按按按键来生成的,在ubuntu下,mkdir不是更加便捷嘛hhhh~~。点击SSH 上面的加号,出现下面的图片,输入ssh username@IP地址,输入密码即可。原创 2023-02-21 11:18:50 · 4970 阅读 · 0 评论 -
将python terminal的命令行参数转化为字符,用于VScode
vs code 中总是要配置lanch.json,有时候参数太长,一个个写麻烦,这里给出一个简单的python转换方法比如命令为把最后一行粘贴到下面的“args”: []中就可以了。原创 2023-02-21 10:57:56 · 802 阅读 · 0 评论 -
SDE DPM (随机微分方程导出的diffusion model)
score matching vs SDE原创 2022-11-11 20:56:43 · 831 阅读 · 0 评论 -
变分推断(variational inference)
变分推断对观测值的边缘分布进行分解分解概率分布把所有潜在变量和参数组成的集合记作Z\mathbf ZZ.观测变量的集合记作X\mathbf XX.找到后验分布p(Z∣X)p(\mathbf Z|\mathbf X)p(Z∣X)的近似分布q(Z)q(\mathbf Z)q(Z), 用q(Z)q(\mathbf Z)q(Z)来逼近p(Z∣X)p(\mathbf Z|\mathbf X)p(Z∣X). 逼近的度量就是KL 散度。 通过Evidence lower Bound(ELOB) 目标函数的最小化 来间原创 2021-06-13 17:40:42 · 2941 阅读 · 0 评论 -
max_cut与其对应的优化问题
max cut。可以进一步等价为graph laplacian 图拉普拉斯。原创 2022-09-22 23:27:16 · 380 阅读 · 0 评论 -
Kernel function 核函数定义
核函数原创 2022-07-23 19:43:09 · 269 阅读 · 0 评论 -
latex 提交到arxiv
reference.bib = main.tex主文件和 参考文献名字得相同。reference.bib-> main.bibcleveref虽然把参考文献的引用搞定了,但我还是遇到了所有用 cleveref 宏包 \cref 命令的引用(公式、图表)全部都还是??。根据http://tex.stackexchange.com/questions/276801/how-does-one-use-cleveref-in-an-arxiv-submission,原来问题出在 cleveref 必须在原创 2022-04-01 13:00:29 · 1084 阅读 · 0 评论 -
roc_auc_score sigmoid
sklearn中使用roc_auc_score()函数计算auc。group true得是{0,1}n\{0,1\}^n{0,1}n, pred 理论上得是每个元素都是概率。用于多标签分类的话是得用sigmoid 激活后的(0,1)之间的概率值。但是sklearn是可以直接没有经过sigmoid 激活后的值作为输入的,结果跟有sigmoid 是一样的roc_auc_score(gt,torch.sigmoid(pred))==roc_auc_score(gt,pred)...原创 2021-11-03 10:09:29 · 547 阅读 · 0 评论 -
pytorch batch sparse tensor (构建稀疏batch)
直接通过scipy sparse矩阵转化这个方法的缺点是不能构建 batch 的sparse tensor def sparse_mx_to_torch_sparse_tensor(sparse_mx): """Convert a scipy sparse matrix to a torch sparse tensor.""" # sparse_mx = sp.coo_matrix(sparse_mx) sparse_mx1 = sparse_mx.to原创 2021-10-31 11:00:33 · 831 阅读 · 1 评论 -
多元复合函数求导
https://zhuanlan.zhihu.com/p/61585348原创 2021-10-11 20:59:56 · 286 阅读 · 0 评论 -
shell if 条件字符串判断
注意:比较运算符的两边都有空格分隔,同时要注意比较运算符两边的变量是否可能为空,比如下面这个例子:双引号会将$model 识别成变量,而单引号不会#!/bin/bash#文件名:test.shif [ $1 == 'hello' ];then echo "yes"elif [ $1 == 'no' ];then echo "no"fi应该加入 else nothing 判断#!/bin/bash#文件名:test.sh if [ "$1" == 'yes' ]; t原创 2021-09-10 10:40:59 · 786 阅读 · 0 评论 -
rebuttal
一些常用句式:https://zhuanlan.zhihu.com/p/104298923https://www.cxyzjd.com/article/amusi1994/112792937https://www.zhihu.com/question/32055996AC信:https://zhuanlan.zhihu.com/p/353761920https://proceedings.neurips.cc/paper/2020/file/217eedd1ba8c592db97d0dbe54c原创 2021-08-11 15:44:52 · 384 阅读 · 0 评论 -
pytorch horovod 进行分布式训练
一、什么是分布式1、模型并行把复杂的神经网络进行拆分,分布在GPU里面进行训练,让每个GPU同步进行计算。这个方法通常用在模型比较复杂的情况下,但效率会有折扣。2、数据并行即让每个机器里都有一个完整模型,然后把数据切分成n块,把n块分发给每个计算单元,每个计算单元独自计算出自己的梯度。同时每个计算单元的梯度会进行平均、同步,同步后的梯度可以在每个节点独立去让它修正模型,整个过程结束后每个节点会得到同样的模型。这个方法可以让能够处理的数据量增加,变成了原来的n倍。实例代码https://githu原创 2021-07-27 10:28:18 · 636 阅读 · 0 评论 -
np.asarray()可将不同大小的list转成array的形式
>>> np.asarray([[1,2,3],[1,2,3,3]])array([list([1, 2, 3]), list([1, 2, 3, 3])], dtype=object)>>> np.asarray([[1,2,3],[1,2,3]])array([[1, 2, 3], [1, 2, 3]])原创 2021-07-23 11:11:49 · 725 阅读 · 0 评论 -
Pycharm 自动同步到服务器失效
通过interpreter 的配置已经配置好远程,但是还是出现问题:No files or folders found to process。原因是服务器端的配置路径没弄好。解决方案如下:选择Tools–Deployment–Configuration,在弹出的窗口中选择Mappings,在Deployment path on server一栏填上你的本地文件存储在服务器中的路径,如下图所示:https://blog.youkuaiyun.com/Flying_sfeng/article/details/806原创 2021-07-12 19:47:22 · 1248 阅读 · 0 评论 -
dssp 安装
Linux 安装通过conda 命令安装,conda install -c ostrokach dssp安装后得到的是mkdssp;which mkdssp~/anaconda2/bin/mkdsspcd ~/anaconda2/bin/mkdsspcp mkdssp dssp参考:http://wap.sciencenet.cn/blog-950202-1088148.html?mobile=1原创 2021-06-28 10:42:18 · 4497 阅读 · 0 评论 -
Mac pycharm 快捷键以及键盘设置
Pycharm常用快捷键(Mac)Mac键盘符号和修饰键说明⌘ Command⇧ Shift⌥ Option⌃ Control↩︎ Return/Enter⌫ backspace命令:command + 左键 简介及代码定义command + d 复制当前行到下一行command + y 删除当前行command + / 添加注释,再按一次取消注释(适用于多行注释)command + f 文件内查找command+ r 文件内替换command + shift + enter原创 2021-06-16 11:29:23 · 1022 阅读 · 0 评论 -
Latex调整表格列宽
一次性添加到 \setlength\tabcolsep{1pt}到 \begin{tabular} 前面即可。默认为 6 pt参考: https://wenda.latexstudio.net/article-5064.html原创 2021-05-23 21:24:08 · 2977 阅读 · 0 评论 -
plt.imshow 使用(embedding 画图)
import matplotlib.pyplot as pltimport numpy as npH = np.zeros((300, 300))+np.eye(300)plt.imshow(H, cmap=plt.get_cmap('coolwarm'), vmin=H.min(), vmax=H.max())plt.colorbar()plt.show()https://www.pythonf.cn/read/41352原创 2021-04-09 15:45:46 · 646 阅读 · 0 评论 -
jupyter Notebook pycharm 远程
本地pycharm professional版本服务器: 安装jupyter notebook(conda命令,pip命令)pip install -U jupyterpycharm 已经远程连接服务器1.服务器jupyter 配置: jupyter notebook --generate-config jupyter notebook password vim ~/.jupyter/jupyter_notebook_config.py修改配置文件:找到下面的代码并取消注释,修改成以下格式(原创 2021-03-29 17:05:53 · 436 阅读 · 1 评论 -
linux 添加清华镜像并安装 pytorch
linux pytorch激活pytorch 环境激活pytorch 环境source activate pytorch原创 2021-02-16 20:59:29 · 4192 阅读 · 3 评论 -
markdown目录树
直接在终端使用tree -L 2, 就可以打出深度为2 的目录树,作为代码插入到markdownj就可以了原创 2021-01-08 14:51:31 · 1435 阅读 · 0 评论 -
vim 卡住退不出也不能编辑
vim使用的时候,偶尔会碰到vim莫名其妙的僵在那里。解决方案:经查,原来Ctrl+S在Linux里是锁定屏幕的快捷键,如果要解锁,按下Ctrl+Q就可以了。经验总结:牢记这两个VIM组合键 Ctrl+S 和 Ctrl+Q...原创 2020-12-31 10:39:02 · 1806 阅读 · 1 评论 -
将ppt的图保存成矢量图
先将PPT保存为.pdf然后使用 adobe acrobat Pro (可以选用福昕阅读器替代) 对pdf进行剪裁剪裁出自己想要的图片之后,然后使用 在侧面工具栏使用功能 组织页面最后将自己想要的那一页单独提取出来,然后保存成.pdf,这个pdf 就可以插入论文,当成是矢量图, 不因放大而变模糊了。参考:https://www.shuzhiduo.com/A/A2dmA8mBde/...原创 2020-11-06 19:56:03 · 37809 阅读 · 6 评论