介壳-优快云博客

原创 SQL中 where 条件里1=1的意义

使用 1=1 的合理场合只有一个：就是将 where 与 1=1 紧密的贴在一起。如果 where 后边不是紧密贴上一个 1=1 作为固化形式，那么你加 1=1 是没有意义的。后边的每一个条件，都固定是 and 开头的格式，这样增加与删除条件时，都不会影响其他行，对版本管理记录变更来说非常清晰。并不是 where 后边添加 1=1，而是将 where 1=1 作为一个整体绑定到一起，中间不能添加任何其他东西。SQL语句固化为 where 1=1 ，每个附加的条件都是 and 开头，看起来便洁美观。

2024-09-04 11:08:50 308 1

原创 Airflow调度

eg：每天 8：40 ，12：40 ， 16：40 ，20：40 每隔4小时执行。eg：执行的时间分别为8：40 ，13：40 ， 17：40。

2024-01-31 11:19:06 402 1

原创 Hive优化学习

一般情况下,我们写SQL是有一部分的SQL是只会用到表中的部分的列，并不是要全部的列。这种场景下，就可以只加载用到的列即可。不用到的不去加载（必须是列式存储）。概念：尽量减少在读取的时候读取的数据量的大小。1.ORC存储（列存储）2.查询只用到的部分的列。

2024-01-30 11:03:00 282 1

原创 Hive(airflow)内存溢出

且代码中含join的操作，数据量较大，导致内存溢出。添加参数，去掉mapjoin优化。

2023-11-21 11:23:01 179 1

转载自己遇到的小问题们

1.不能将cuda:0设备类型张量转换为numpy。首先使用tensor .cpu()将张量复制到主机内Cannot convert cudA :0 device type tensor to NUMpy. The tensor is first copied into the host using tensor.CPU ()解决:先调用cpu()再调用numpy()，比如 target.cpu().numpy()2.Matplotlib.pyplot 颜色展示‘b’ 蓝色‘g’ 绿色‘r’

2021-12-20 22:48:06 704

原创 python中的 [1:-1] 就是去除首尾吧？

>>> import numpy as np>>> a = np.random.rand(5)>>> print(a)[0.90927076 0.73726971 0.14382335 0.9155831 0.91208005]>>> print(a[1:-1])[0.73726971 0.14382335 0.9155831 ]>>> a = np.random.rand(10)>>&g

2021-12-05 21:16:10 3784

转载 github上各个文件的意思

从豆瓣上看到的 https://www.douban.com/group/topic/208337050/整合评论1对于github上的代码，通常看readme.md就能知道它的作用和使用方法，doc通常是进一步的详细文档，src通常是真正的源码（不过图中没有按这种命名方式哈哈，真正的源码在econml文件夹里）；notebook… 如果你有安装juputer的话就可以看里边的内容了，通常是些实验结果演示，跟源码无关；prototypes没见过；monre_carlo_test里是用蒙特卡洛方法去模拟一

2021-08-23 20:26:21 8277

原创深度学习相关概念知识链接（自用

腾讯云作者：本立2道生网络权重初始化方法总结（上）：梯度消失、梯度爆炸与不良的初始化https://cloud.tencent.com/developer/article/1535198网络权重初始化方法总结（下）：Lecun、Xavier与He Kaiminghttps://cloud.tencent.com/developer/article/1542736为什么要做特征归一化/标准化？https://cloud.tencent.com/developer/article/1531996B

2021-07-04 17:14:15 123

原创翻译：Graph CNN for Survival Analysis on Whole Slide Pathological Images

Graph CNN for Survival Analysis on Whole Slide Pathological Images全载玻片病理图像生存分析的图形神经网络摘要: 深度神经网络通过提供高质量的特征而被用于生存预测。然而，很少有人注意到整体切片病理图像拓扑特征的重要作用(WSI)。在WSIs上学习拓扑特征需要密集的计算。此外，无线传感器网络的最优拓扑表示仍然是模糊的。此外，如何在生存预测中充分利用WSI的拓扑特征是一个有待解决的问题。因此，我们建议将WSI建模为图，然后开发具有注意力学习的图

2021-06-16 09:09:51 1238

原创矩阵归一化、标准化、中心化/零均值化

归一化（Normalization）把数据变成（0，1）或者（1，1）之间的小数。经过变换，化为无量纲的表达式，成为纯量。标准化（Standardization）标准化后会使每个特征中的数值平均变为0(将每个特征的值都减掉原始资料中该特征的平均)、标准差变为1中心化/零均值化（Zero-centered）平均值为0，对标准差无要求归一化和标准化的区别：归一化是将样本的特征值转换到同一量纲下把数据映射到[0,1]或者[-1, 1]区间内，仅由变量的极值决定，因区间放缩法是归一化的一种。标准.

2021-05-31 22:32:31 15852

原创 PyCharm快捷键

PyCharm进行批量注释和取消批量注释1.批量注释：选择要注释的文本行, 背景变化后，同时按Ctrl+/2.取消批量注释：选择已注释的文本行，背景变化后，同时按Ctrl+/3.批量缩进：选择要缩进的文本行, 背景变化后，按下TAB键4.取消批量缩进：选择要缩进的文本行, 背景变化后，按下SHIFT+TAB键5.运行Run： shift+F10...

2021-05-25 13:56:04 140

原创创建自己的数据集 InMemoryDataset

创建自己的数据集https://pytorch-geometric.readthedocs.io/en/latest/notes/create_dataset.html按照torchvision约定，每个数据集都会传递一个根文件夹，该根文件夹指示应将数据集存储在何处。我们将根文件夹分为两个文件夹：raw_dir，将数据集下载到，和processed_dir，将处理后的数据集保存在。torch_geometric.data.InMemoryDataset.process()在这里，我们需要阅读并创建D

2021-05-25 09:08:10 1177

原创 python调试相关

使用 pdb 进行调试pdb 是 python 自带的一个包，为 python 程序提供了一种交互的源代码调试功能，主要特性包括设置断点、单步调试、进入函数调试、查看当前代码、查看栈片段、动态改变变量的值等。pdb 提供了一些常用的调试命令https://www.cnblogs.com/rwxwsblog/p/4605309.htmlpdb.set_trace() 程序运行到这里就会暂停利用mobatexterm和pycharm远程调试...

2021-05-24 21:22:52 133

原创 GCN最简单的实现

https://pytorch-geometric.readthedocs.io/en/latest/notes/introduction.htmlGCN最简单的实现PyTorch Geometric中的一个图由的实例描述torch_geometric.data.Datadata.x：具有形状的节点特征矩阵 [num_nodes, num_node_features]data.edge_index：具有形状和类型的COO格式的图形连接[2, num_edges]torch.longdata.edg

2021-05-24 20:08:19 391

原创 TUDataset: A collection of benchmark datasets for learning with graphs

TUDataset: A collection of benchmark datasets for learning with graphsGitHub：https://github.com/chrsmrrs/tudataset2.TUDATASET集合包含www.graphlearning.io上提供的120多个数据集。2.1 DatasetsSmall molecules. 小分子。一类常见的图形数据集由带有类别标签的小分子组成，代表例如药物发现项目中确定的毒性或生物活性。这里，一个图代表一个分

2021-05-17 15:26:17 4291 1

原创 python使用小技巧

使用heapq从列表中获取最大或最小的元素import heapqscores = [51, 33, 64, 87, 91, 75, 15, 49, 33, 82]print(heapq.nlargest(3, scores)) # [91, 87, 82]print(heapq.nsmallest(5, scores)) # [15, 33, 33, 49, 51]把列表中的值作为参数传递给方法可以使用" * "提取列表中的所有元素：my_list = [1, 2, 3, 4]pri

2021-05-13 10:37:27 140

原创图分类任务常用数据集

D&D 在蛋白质数据库的非冗余子集中抽取了了1178个高分辨率蛋白质，使用简单的特征，如二次结构含量、氨基酸倾向、表面性质和配体；其中节点是氨基酸，如果两个节点之间的距离少于6埃（Angstroms），则用一条边连接。(DD数据集中节点是没有标签的，节点只有特征)PROTEIN 则是另一个蛋白质网络。任务是判断这类分子是否酶类。NCI-1 是关于化学分子和化合物的数据集，节点代表原子，边代表化学键。NCI-1包含4100个化合物，任务是判断该化合物是否有阻碍癌细胞增长的性质。用于抗癌..

2021-04-28 16:33:57 2449 7

转载 SAGPool笔记

Self-Attention Graph Pooling 图分类图池化方法 ICML 2019转载：https://blog.youkuaiyun.com/yyl424525/article/details/103327551Arxiv:https://arxiv.org/abs/1904.08082github链接：https://github.com/inyeoplee77/SAGPool...

2021-04-21 11:09:55 768

转载 DiffPool 笔记自用

DiffPool 笔记自用DiffPool 可微池化的层次图表示学习相关概念背景堆叠GNNs和pooling层Diff pool正则化实验DiffPool 可微池化的层次图表示学习转载：版权声明：本文为优快云博主「不务正业的土豆」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.youkuaiyun.com/yyl424525/article/details/103307795Hierarchical Graph Representati

2021-04-21 10:07:46 2704

转载 PyRadiomics工具包使用说明

官网网站：https://pyradiomics.readthedocs.io/en/latest/index.html转载网站：https://cloud.tencent.com/developer/article/1660808医学影像组学特征值（Radiomics Features）[安装]：python -m pip install pyradiomicsUse 3D Slicer Radiomics extension使用3D Slicer Radiomics扩展3D Slicer是用于

2021-03-15 10:03:21 10355 1

转载 Pytorch.device使用及理解

Pytorch to（device）Pytorch.device理解device=cuda之类的转载合并了一下其他同学的讲解.链接: linktorch.device代表将torch.Tensor分配到的设备的对象。torch.device包含一个设备类型（‘cpu’或‘cuda’）和可选的设备序号。如果设备序号不存在，则为当前设备。如：torch.Tensor用设备构建‘cuda’的结果等同于‘cuda：X’，其中X是torch.cuda.current_device()的结果。device

2020-12-15 16:20:08 28604 1

qq_40515250的博客