- 博客(79)
- 收藏
- 关注
RSS订阅原创 vscode远程服务器jupyter无法启动kernel
如果vscode可以选择解释器，但是jupyter的kernel无法选择环境的话，可能的原因是本地jupyter版本没有更新或者没有安装。可以在local更新jupyter，然后reload window，问题解决。
2025-03-25 19:00:00
117
原创 xarray转换nc文件经度范围：0-360更改为-180-180
原文见https://blog.youkuaiyun.com/weixin_44237337/article/details/119707332，因为觉得很实用就转载一下。如果需要转换成ERA5的-180-179的经度格式，则用。
2025-01-26 22:43:05
378
原创 Linux系统中文件批量改名
例如：想要把所有的sst换成sea_surface_temperature，只需要。使用rename+通配可以批量修改linux系统中的文件名。使用mv每次只能更改一个文件名。
2024-12-25 16:18:57
195
原创 在Mac邮件应用中配置outlook邮箱
在 9 月 16 日之前，通过基本身份验证登录到 Outlook.com 的用户可能会在 Outlook 和其他第三方电子邮件应用程序中遇到重复的密码提示。这是一个已知问题。9 月 16 日之后，尝试通过基本身份验证连接其Microsoft帐户的用户将无法执行此操作。
2024-11-27 12:38:58
5970
原创 如何更新至CDS-Beta下载ERA5数据
在下载数据的时候需要在Terms of use中accept licence。2024年9月26日起老版的CDS将被停用，会搬迁到CDS-beta上。之后在数据下载网站获取API request。
2024-09-20 16:57:43
1059
7
原创 Batch Size 不同对evaluation performance的影响
深度学习网络训练时，使用较小的batch size训练网络后，如果换用较大的batch size进行evaluation，网络的预测能力会显著下降。如果evaluation的batch size和train的batch size大小相同时，则不会遇到此类问题。GN 把通道分为组，并计算每一组之内的均值和方差，以进行归一化。LN 和 IN 在视觉识别上的成功率都是很有限的，对于训练序列模型（RNN/LSTM）或生成模型（GAN）很有效。所以，在视觉领域，BN用的比较多，GN就是为了改善BN的不足而来的。
2024-07-03 12:03:58
1032
原创 ImportError: cannot import name ‘Self‘ from ‘typing_extensions‘ 解决方式
ImportError: cannot import name 'Self' from 'typing_extensions' 解决方式。
2024-06-12 10:55:02
658
原创 KAN: Kolmogorov-Arnold Networks 随想
众所周知，MLP是很多复杂神经网络的基础单元，你没有和复杂网络进行嵌套进行测试，同时KAN的源代码在cpu上的效率比GPU上要更好，没有针对GPU进行优化且小参数量下显存异常大。这是一篇类似于读后感的笔记，强烈的表达了我自己的bias，而不是对于文章内容的客观解读。接连两天从不同的大V公众号上刷到KAN即将替代MLP的推送，将KAN吹的天花乱转，但如果点开知乎就会对KAN的工作有全新的认识【doge。KAN和MLP的不同在于，KAN对于每一个node的激活函数是可以学习的，也就是可以表示不同的函数。
2024-05-05 14:16:43
1754
原创 如何理解Fourier Neural Operator (FNO)
2022年Nvidia发表在arXiv上的的FourcastNet作为几乎是最早的一篇气象大模型的工作（之前Google Research的MetNet主要还是对于降水的预报）。除了Transformer的backbone之外，使用到了2021年发表在ICLR上的Fourier Neural Operator。为了更好的理解模型的理论基础，可以详细学习一下以及他的前期工作GNOFNO作者对这两篇文章的解析blog。
2024-04-11 21:07:28
7682
原创 气象基础模型/气象大模型论文速递
近两年气象基础模型和大模型的文章日益增多，不同的模型针对短-中-长期的预报也各不相同，因此在这里将读过的相关论文进行整理，方便后期查找和整理，以及模型性能的比较。
2024-04-08 15:33:17
469
原创 Neural general circulation models
与其他的气象大模型不同的是，其他的气象大模型例如Pangu-Weather，ClimaX，GraphCast等都是典型data-driven模型，而Neural GCM通过保留动力框架中的物理方程，而在单柱里使用NN替换物理参数化方案，并且在encoder decoder中加入NN来平滑输入输出变量，达到可以在年际尺度稳定运行的效果（同时在短期和中期预报中也有很好的效果）。在动力框架和物理参数化方案部分输入不完全相同的变量，使模型具有更好的可解释性和物理意义。
2024-04-08 15:24:42
1335
原创 VSCode无法连接远程服务器的两种解决方法
直接在terminal或cmd中使用ssh命令可以连接服务器，但是在vscode中存在报错，最后一行为。目前VSCode更新至1.86，和服务器上的版本可能不兼容（但目前感觉不影响使用？若解决方式1无效，可以在vscode中打开命令面板。一直要求Retry或者重新输入密码。以及服务器IP即可。
2024-02-14 16:38:55
15074
6
原创 如何理解图卷积网络GCN
可以调用中的GCNConv进行实现。if bias:else:# 1.消息传递# 1.对所有节点进行新的空间映射# 2.添加偏置= None:# 3.返回source、target信息，对应边的起点和终点# 4.获得度矩阵# 5.度矩阵归一化# 6.计算sqrt(deg(i)) * sqrt(deg(j))# 7.返回所有边的映射# 8.计算归一化后的节点特征return x_j# 2.消息聚合# 1.返回source、target信息，对应边的起点和终点。
2024-01-02 10:56:57
1124
原创 深度学习中Batch/Layer/Instance/Group normalization方法
图片中，N是batch size， c是channel。
2023-12-31 16:23:04
457
原创 使用CDSAPI下载ERA5数据设置grid分辨率
使用ERA5官方网站生成python脚本进行数据下载时，不能设置下载分辨率大小。在默认情况下，使用原始网格分辨率0.25*0.25。如果要改变网格分辨率，可以在请求中添加。其中，res为目标分辨率。值得注意的是，制定网格分辨率的值必须是原始网格分辨率的倍数。
2023-12-31 10:53:00
1245
原创 torch_geometric 使用 batch
torch.geometric的batch不支持CNN中广泛使用的batch维度。CNN中使用batch的数据具有。基于torch.geometric的data具有node和edge的特征，其中node的维度表示为。中起始点和终点的index都必须小于nodes的个数（因为默认从0开始）将数据转换成Batch格式，或者手动将node concate成。与GCNConv, SAGEConv不同的是，当使用。，edge_index concate成。，edge的维度表示为。
2023-12-11 21:30:23
2241
原创 Linux CUDA11.6 Python3.8 安装pytorch-geometric
Pytorch-gemetric适配 python3.8-3.11版本。
2023-12-06 11:24:39
708
原创 loss.detach().item(), loss.detach(), loss.item()的区别，以及requires_grad=True/False区别
最近的程序总会在运行了几个epoch之后CUDA out of memory，除了常见的几种解决方法以外，还有一种是在train loss合并的时候，没有选择detach，或者item，导致反向梯度在合并的时候进行了累计。
2023-11-10 11:18:27
1570
原创 使用PIL打开tif图进行resize，PIL image.resize image has wrong mode
原因是因为tif image存储精度是unit16，使用。将数据格式转换为uint8后可以正常使用。
2023-09-06 19:35:19
542
原创 USSOCOM Urban3D 数据集读取与处理
Urban3D数据集图像为正摄RGB影像，分辨率为50cm。从每一块.tif大小为2048*2048。
2023-08-29 21:02:25
1618
1
原创 报错CUDA error: no kernel image is available for execution on the device
在这种情况下默认安装的是CPU版本的pytorch，因此如果使用GPU运行会出现CUDA版本不匹配的问题，即CUDA error: no kernel image is available for execution on the device。中给出了不同版本的pytorch对应的torchvision、torch audio和CUDA版本，十分实用。在安装pytorch的时候，如果服务器上有GPU，不能直接使用。的安装命令，如果需要安装GPU版本的pytorch，可以使用。
2023-06-18 18:44:22
2193
原创 在markdown中进行文内跳转
如果在markdown中想进行文内超链接（不是标题、目录超链接），可以用到HTML语法定义锚点。在想要进行超链接的原内容附近加入。在需要加入超链接的部分使用。id为给原内容起的名称。
2023-05-25 16:07:49
1409
原创 open3D depth image注意事项
如下代码提供转换方法。（注，PIL的Image不能很好的处理uint16格式数据，尝试了几次似乎都是当成int32处理，因此存储新图像的时候需要使用cv2中的函数。的时候，需要用到color image和对应的depth map。在open3d中默认的depth map是mm为单位，且需要使用uint16作为格式。Open3D中在使用。
2023-05-18 20:06:13
392
原创 Apple M1 python安装open3d
因为一开始在linux上安装open3d的时候python3.9发现有package不兼容，因此选择安装在python3.7版本上。但是python3.7和Apple M1芯片貌似不兼容。安装的版本是open3d-python 0.3.0.0,可能是版本和芯片不兼容。先说结论，Apple M1 安装python3.8+open3d 15.0.1。，安装的是open3d 0.17.0版本。但是在尝试代码的时候出现报错。因此选择python3.8的anaconda环境。，就可以正常运行了。
2023-05-17 21:15:37
1094
原创 torch.inverse报错及其解决办法
网上也查不到相应的解决方法，也不是GPU显存不够出现的问题，因此选择使用cpu进行计算，然后再放到cuda上。原因是少安装了libnvJitLink.so.12这个库，在安装完之后依旧出现报错。
2023-05-15 17:13:45
5515
4
原创 DepthTransfer: Depth Extraction from Video Using Non-parameteric Sampling
如果是逐帧预测的话，可能会忽略视频原本的时间连续和时间依赖，因此对于video的energy function，作者加入了Ec: temporal coherence, Em: motion cues，系数分别是100和5。不同于其他主流方法以及深度学习方法，本文提出的方法并没有一个特定的模型完成深度估计，而是通过把已有的dataset标签数据与给定的待预测样本进行对应，并将深度信息进行迁移。与深度学习黑盒模型不同的是，这篇文章所用的方法是通过相似图片的匹配以及其深度图的迁移来计算待预测图像的深度图。
2023-05-04 11:45:31
126
原创 Deep3D: Fully automatic 2D-to-3D video conversion with deep convolutional neural networks
网络中间部分输出了left view 和 right view的视差图 (disparity map)，but this is only used for minimizing the MAE between the predicted right view and the ground truth. Therefore, the “disparity map” is not “real” and “accurate”.我猜测可能还因为是拍摄角度的转变以及有效信息占比的减少（多输入数据的干扰）。
2023-05-03 12:33:45
541
原创 Unsupervised Monocular Depth Estimation with Left-Right Consistency
这篇文章一共combine了3个loss function，具体可见。
2023-04-27 20:38:24
98
原创 KITTI数据集wget下载operation timed out
这个命令只对当前终端窗口有效。如果想要永久保存则直接在 .bashrc 或者 .zshrc 添加上述两行命令并且。在拥有🪜的情况下，在终端wget。依然存在同样的错误。
2023-04-24 11:23:38
462
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人