
学习笔记
weixin_40248634
清华大学计算机硕士
展开
-
改变latex公式长度的方法
【代码】改变latex公式长度的方法。原创 2024-12-13 14:34:41 · 238 阅读 · 0 评论 -
Failed to connect to the remote extension host server
如果仅仅删除.vscode-remote-containers/不行,或者本来就没有这个文件夹,则可以i直接删除 rm -r .vscode-server/.另:其他可以尝试的包括按照旧版本的vscode https://code.visualstudio.com/updates/v1_86。我尝试将 rm -r .vscode-remote-containers/ 删除后,则解决了远程文件打开不了的问题。然后remote-ssh 工具也install other version.原创 2024-08-28 11:01:53 · 1917 阅读 · 0 评论 -
\si{\angstrom} 埃米 latex 显示
这个包提供了许多额外的文本符号,包括埃米符号。将这行代码放在导言区,然后在文档中使用 \angstrom。这样设置后,\si{\angstrom} 应该能正常工作。这个命令在大多数 LaTeX 发行版中都应该能正常工作。这个包也提供了埃米符号。原创 2024-08-08 11:24:31 · 2183 阅读 · 0 评论 -
旋转和镜像的关系(E(3) SE(3), SO(3))
旋转矩阵行列式与在E(3)三维空间中,旋转矩阵的行列式可以用来判断该旋转是否包含镜像变换。表示纯旋转,不包含镜像。旋转矩阵保持向量的长度和角度不变,只是改变向量的方向。表示旋转包含镜像。旋转矩阵不仅改变了向量的方向,还改变了向量的朝向,相当于。原创 2024-07-04 11:33:00 · 483 阅读 · 1 评论 -
龙格-库塔(Runge–Kutta)法 (Dopri5, Euler method,Explicit midpoint method)
在数值分析中,龙格-库塔方法是一系列隐式和显式迭代方法,其中包括, ,用于联立非线性方程近似解的时间离散化。[2]这些方法是由德国数学家Carl Runge和Wilhelm Kutta。原创 2024-01-02 15:52:12 · 2854 阅读 · 0 评论 -
两个高斯分布的KL散度(Diffusion Model)
Denoising Diffusion Probabilistic Models (DDPM) 中提到当变分下界中导出的两个分布 都为高斯分布时,假设方差相同,要求他两的KL散度,其实。中间连加号KL散度的优化就可以变为。所以最后要最小化变分下界的时候。原创 2022-11-04 14:39:08 · 1125 阅读 · 0 评论 -
VAE 中的reconstruction loss
的log-likehood 的reconstruction term, 为啥这个term 会被称为reconstruction term 呢,还是得回到最大似然估计,因为最大似然估计要求找到最优的参数。,在这个参数下,使得出现。原创 2022-10-31 17:12:00 · 946 阅读 · 0 评论 -
过去式-ed的发音规则
如:[b] 、[d] 、[g] 、[v] 、[z] 、[ʒ]、 [e]、 [dʒ] 、[dr] 、[dz]、[m] 、[n] 、[ŋ]、 [l] 、[r] 、[w] 和[j]。如:[p] 、[t] 、[k] 、[f] 、[s] 、[ʃ] 、[θ]、 [h]、 [tʃ] 、[tr] 和[ts];2、 在浊辅音结尾的动词、元音读音结尾后念 读浊辅音 /d/ : screamed, lived, traveled, followed, enjoyed, played, tried, continued;...原创 2022-08-02 19:47:11 · 5666 阅读 · 0 评论 -
Kernel function 核函数定义
核函数原创 2022-07-23 19:43:09 · 269 阅读 · 0 评论 -
VAE变分自动编码器
对抗: 重构的过程是希望没噪声的,而 KL loss 则希望有高斯噪声的,两者是对立的。所以,VAE 跟 GAN 一样,内部其实是包含了一个对抗的过程,只不过它们两者是混合起来,共同进化的。代码: https://github.com/bojone/vae参考: https://zhuanlan.zhihu.com/p/34998569......原创 2022-06-09 21:24:31 · 221 阅读 · 0 评论 -
SoftEdge: Regularizing Graph Classification with Random Soft Edges笔记
SoftEdge: Regularizing Graph Classification with Random Soft Edges本文提出了一种新的dropedge 的方式,不是直接丢掉边,而是对边进行加权 为之 Soft Edges。全篇都在解释为啥这个方法有用,文章提出了样本碰撞问题(sample collision issue), 也就是非常相似结构的但是标签不同的graph,会被映射到相同embedddings 空间的问题,这个问题其实在GNN 上一直存在,特别是1-WL test 表明是不是原创 2022-05-04 12:48:28 · 311 阅读 · 0 评论 -
WWW21-Graph Contrastive Learning with Adaptive Augmentation 笔记
ICML21-workshop Deep Graph Contrastive Representation Learning这篇文章是做无监督图表示学习的,使用了node-level 上的contrastive loss这个contrastive loss 就是在负样本的设计上多了inter-view 和 intra-view, 其他跟普通的contrastive 方法一样,也有GNN encoder , 有projection header。...原创 2022-05-03 11:58:37 · 444 阅读 · 0 评论 -
Measuring and Relieving the Over-smoothing Problem for Graph Neural Networks 笔记
AAAI2020-Measuring and Relieving the Over-smoothing Problem for Graph NeuralNetworks from the Topological View这篇文章是解决over-smoothing 问题的, 但是其提出了一种通过adaptive 调整edge 的方式,可以看成是一种数据增广的方法,including add_edge and remove_edge...原创 2022-05-02 21:40:00 · 414 阅读 · 0 评论 -
GraphCL: Graph Contrastive Learning with Augmentations笔记
Graph Contrastive Learning with Augmentationscontrastive learning algorithmpretraining model for molecular proporty predition使用最基础的contrastive loss 处理图graph-level的tasks, 包括self-supervised, semi-supervised graph classification,主要贡献是提出4种不同的augmentations.原创 2022-05-02 21:32:16 · 435 阅读 · 0 评论 -
Pytorch 中的torch.einsum 求cos 相似度矩阵
einsum 计算consine similarity for contrastive learningconsine similarity 定义Sij=XiTYj/∥Xi∥2∥Yj∥2S_{ij}=X_i^TY_j/\|X_i\|_2\|Y_j\|_2Sij=XiTYj/∥Xi∥2∥Yj∥2X 和Y为embedding 矩阵:bz×hiden_dimbz\times hiden\_dimbz×hiden_dimXiTYj=∑kXikYjkX_i^TY_j= \sum_k X原创 2022-04-28 16:13:43 · 1002 阅读 · 0 评论 -
WL-test (GIN)
可以看这个写的很好的博客原创 2022-04-26 15:53:07 · 754 阅读 · 0 评论 -
python栈,队列, deque,dict等数据结构
python 数据结构list 实现队列栈collections模块实现栈和队列队列,栈 都可以直接使用deque 来实现。dequelist 实现使用 list 列表模拟队列功能的实现方法是,定义一个 list 变量,存入数据时使用 insert() 方法,设置其第一个参数为 0,即表示每次都从最前面插入数据;读取数据时,使用 pop() 方法,即将队列的最后一个元素弹出。如此 list 列表中数据的存取顺序就符合“先进先出”的特点。实现代码如下:队列通过 insert() 方法实现,这种方法效原创 2022-04-06 21:02:31 · 1490 阅读 · 0 评论 -
函数,泛函,算子
函数是从数到数的映射。泛函是从函数到数的映射。算子是从函数到函数的映射。https://www.cnblogs.com/-mr-y/p/7850787.html原创 2021-12-14 10:18:58 · 2834 阅读 · 0 评论 -
Categorical Distribution(分类分布)
将一个小球放入两个桶,记变量x 为第一个桶里面有的小球个数,那么只有 0 个或者 1 个,所以是服从伯努利分布;将 n 个小球放入两个桶,记变量 x 为第一个桶里面的小球个数,那么最少可能有 0 个,最多可能有 n 个,所以服从二项分布;将一个小球放入 k 个桶,记变量 x 为 k 个桶内的小球个数,所以是一个向量,并且是One-hot的形式,因为这个小球只能在一个桶里面,所以是服从Categorical分布;将 n 个小球放入 k 个桶,记变量 x 为 k 个桶内的小球个数,是一个向量,并且向量元.原创 2021-10-27 21:04:16 · 7072 阅读 · 0 评论 -
英语-科技论文写作中国人常犯的错误
文章目录喜欢将目的(to),原因(for),时间(when),地点(based on)等放在前面,然后再说自己做了什么。如to+目的,we do sth.Such as 和 etc.(and so on) 是不能同时使用的这些词不用加复数这些词组只需要用一个词即可以,一起用累赘。不能用缩写开头,如 Thm. 2, Lem. 1. 不能用how to 开头避免使用 'Obviously', ‘that is to say’ , ‘namely’, 不用 too 结尾。喜欢将目的(to),原因(for),时原创 2021-10-25 16:36:26 · 720 阅读 · 0 评论 -
多元复合函数求导
https://zhuanlan.zhihu.com/p/61585348原创 2021-10-11 20:59:56 · 286 阅读 · 0 评论 -
英语-for which
for which 解释1)定语从句里面,由which引导的定语从句,介词提前。②for which可以翻译成为了……目的Tomorrow I will bring here a magazine (that/which) you asked for.= Tomorrow I will bring here a magazine for which you asked.2)一些固定搭配,得具体情况具体分析。③Ten years of hard work changed her greatly,原创 2021-07-13 14:37:41 · 4617 阅读 · 0 评论 -
tmux使用和一些快捷键
(1)安装工具在ubuntu系统中使用sudo apt-get install tmux安装tmux工具(2)使用工具1,输入命令tmux使用工具2,上下分屏:ctrl + b 再按 "3,左右分屏:ctrl + b 再按 %4,切换屏幕:ctrl + b 再按o5,关闭一个终端:ctrl + b 再按x6,上下分屏与左右分屏切换: ctrl + b 再按空格键...原创 2020-12-15 16:54:15 · 656 阅读 · 1 评论 -
线性代数基础(矩阵微分)
矩阵论1. 矩阵行列式、转置、逆具有可交换性;2. 函数对矩阵的导数3. 梯度1. 矩阵行列式、转置、逆具有可交换性;∣AT∣=∣A∣T,∣A−1∣=∣A∣−1,(A−1)T=(AT)−1,tr(AT)=tr(A)|A^T|=|A|^T, |A^{-1}|=|A|^{-1},(A^{-1})^T=(A^{T})^{-1},tr(A^T)=tr(A)∣AT∣=∣A∣T,∣A−1∣=∣A∣−1,(A−1)T=(AT)−1,tr(AT)=tr(A)∣AB∣=∣B∣∣A∣,(AB)T=BTAT,(AB)−1原创 2020-10-16 21:35:42 · 2089 阅读 · 0 评论 -
矩阵Jordan标准型过渡矩阵的求解
引用自: 程云鹏 《矩阵论》 第三版原创 2020-09-20 11:51:41 · 10192 阅读 · 0 评论 -
latex bibtex引用文献以及 引用序号缩减(“1-4“)
参考: https://www.cnblogs.com/yifdu25/p/8330652.html首先,正文部分(集\end{document}前面)得用\bibliographystyle{…} \bibliography{…}两个命令% B IB T E X 数据库以 .bib 作为扩展名,其内容是若干个文献条目% B IB T E X 程序在生成参考文献列表的时候,通常只列出用了%\cite 命令引用的那些\bibliographystyle{IEEEbib} % 以IEEEbib.bst原创 2020-09-02 21:31:48 · 5057 阅读 · 1 评论 -
vim End Home失效
使用vim时,按End 键和Home键会变成大小写转换,此时,在~/.vimrc中加入命令:set term=xterm即可原创 2020-08-12 16:52:06 · 1505 阅读 · 1 评论 -
apex混合精度加速
apex 安装、应用快速应用check point常见错误按照以下方式安装apexpip uninstall apexgit clone https://www.github.com/nvidia/apexcd apexpython setup.py install快速应用from apex import ampmodel, optimizer = amp.initialize(model, optimizer, opt_level="O1") # 这里是“欧一”,不是“零一”with原创 2020-08-11 19:03:59 · 1296 阅读 · 1 评论 -
tensor变量类型指定
torch.unit8 : G = torch.Tensor(H).byte().to(device)torch.int16: G = torch.Tensor(H).short().to(device)设置: 通过一些内置函数,可以实现对tensor的精度, 类型,print打印参数等进行设置torch.set_default_dtype(d) #对torch.tensor() 设置默认的浮点类型torch.set_default_tensor_type() # 同上,对torch.tenso原创 2020-08-11 18:40:07 · 1377 阅读 · 0 评论 -
稀疏矩阵(pytorch sparse tensor)运算
这里总结了从以前的PRs请求稀疏张量函数和autograd支持的列表Functionssum() with autograd #12430max() with autogradlog1p() #8969S.copy_(S) with autograd #9005indexing (gather(), index_select())mul_(S, D) -> S, mul(S, D) -> S with autogradcuda()nn.Linear with autograd原创 2020-08-11 16:43:26 · 2282 阅读 · 0 评论 -
torch.softmax与torch.sum 的dim用法理解
torch.softmax与torch.sum 的dim意义相同torch.sumtensor.sum(dim=0) 是将tensor的size的[dim0,dim1]中,dim0变成1, 其他维度不变,即求和后变成[1,dim1], 换种意义上说就是对tensor 的每一列进行了求和,选其他维时类似。torch.softmax从其分母形式,一定意义上说也可以把softmax 当成是一种特殊形式的求和。所以与sum的维数意义一致,softmax(dim=1),就是相当于sum(dim=1)也就是每一原创 2020-08-10 11:05:04 · 1625 阅读 · 1 评论 -
二分类单输出模型下交叉熵计算
输出值self.preds为一维数据标签值 self.labels为{-1,1}正负样本比例=1:10 ;所以分类错误的时候,负样本loss 比例要更低,为正例样本分错时候的0.1倍。以此达到平衡样本的目的scale_vector = (pn_ratio * (self.labels - 1) / -2) + ((self.labels + 1) / 2) # label=-1,scale_vector=0.1;label=1,scale_vector=1logits = tf.concat([.原创 2020-06-03 13:25:11 · 418 阅读 · 0 评论 -
tensorflow简易教程
tf对话create two matrixes层数据输入占位符对话import tensorflow as tfcreate two matrixesmatrix1 = tf.constant([[3,3]])matrix2 = tf.constant([[2], [2]])product = tf.matmul(matrix1,matrix2)# method 1sess = tf.Session()result = sess.run(pr原创 2020-06-02 20:38:33 · 215 阅读 · 0 评论 -
linux常用命令
linux常用命令常用命令处理目录的常用命令dos2unix,unix2dos常用命令命令操作.zip解压unzip FileName.zipzip压缩zip -r FileName.zip DirName查看drugGCN.zip文件大小zipinfo -t drugGCN.ziprm刪除:直接rm就可以了rm -rfrm -rf 目录名...原创 2020-05-22 18:22:10 · 101 阅读 · 0 评论 -
K折交叉验证
转载自:https://blog.youkuaiyun.com/Softdiamonds/article/details/80062638K折交叉验证将初始采样(样本集X,Y)分割成K份,一份被保留作为验证模型的数据(test set),其他K-1份用来训练(train set)。交叉验证重复K次,每份验证一次,平均K次的结果或者使用其它结合方式,最终得到一个单一估测。这个方法的优势在于,同时重复运用随...转载 2019-11-17 11:37:12 · 241 阅读 · 0 评论