weixin_45051281的博客

原创 模型训练中常见问题(1)

在训练时调试batch_size,num_workers_cache_size(LRU)等参数,充分利用硬件资源来为训练提速.具体设置跟具体情形高度相关(单卡/多卡,数据量),所以只能反复调试确认一个最佳参数配置,注意。这个问题和上一个问题一样,在训练时如果速度过慢,以目前少数几个项目的经验来看,在稳定训练(缓存加载完全,epoch到第二三轮)之后如果每个item多于5s,就可以认为是训练速度慢,要查看是什么环节存在瓶颈.具体检查还是使用debug模式检查每个环节的时间花销,包括。

原创 FTP下载Argo数据

原创 提取目标区域的Argo剖面数据(nc)

【代码】提取目标区域的Argo剖面数据(nc)

原创 混合精度训练导致的精度溢出问题Grad Overflow

但是如果依然出现问题,那么就要从model上找原因,梯度爆了或者输出爆了,根本上还是model中存在计算不稳定的地方,比如计算方差除以了近似于0的值等等(特别是调用的模块内部可能出现问题),如果model是自己搭建的,出现这些问题再正常不过,在编写model时就要注意排除这些问题.调整scaler参数并不能从根本上解决问题,不过做工程应用本来就不应该追求从根本上解决问题,只要在模型收敛之前不出现问题就行.防止参数更新过大（训练震荡）限制梯度均值或最大值。（因为溢出发生更早）

原创 使用nohup在后台运行程序(防止ssh断联导致的程序终止)

【代码】使用nohup在后台运行程序(防止ssh断联导致的程序终止)

原创 Pytorch编写注意2

现在看写的代码,耦合度实在太高了,耦合度高其实也没问题,每次在原来的版本上重新写就可以,但是之前又有意识地提高代码的重复利用性,将每个模块分离开来.但是参数设定以及传参写的不好,改起来发现需要东改改,西改改,非常混乱.另外修改文件会影响原来程序的运行,好像python并不是先编译再运行?最开始尽量设计好数据流,不同模块之间传递的数据的shape,这个设计好,后续修改就只改模块内部,不需要因为耦合度过高导致改一个就要改好几个.每个部分的编写2尽可能将所有参数都通过传入设置,使模型的接受度(大概这个意思?

原创 num_workers设置

实验设备cpu核心数为40,一般来说,好像num_workers的设置在小于cpu核心数的前提下越大越好,但是实际经过测试[0, 2, 4, 8,16,32],num_workers=2时是最快的.我们知道,训练过程中时间开销很大程度上取决于dataloader加载数据的速度,因此要尽可能地优化dataloader.具体实际原因也懒得深入探究了,需要注意的是,硬件可能有千奇百怪的情况,跟硬件有关的部分都要经过实际测试来确定.

原创 pytorch编写注意

现在只写了数据处理和data,model部分(效率比较差ಠ_ಠ),怕忘了就先总结一下。近期在从0写一套实验代码,非常吃力,总结一下.

原创 深度学习开发项目结构(附生成脚本)

│ │ ├── backbone/ # 模型骨干网络（如 ResNet、ViT 等）│ │ ├── modules/ # 模型中使用的子模块（如损失函数、自定义层等）│ │ ├── backbone.yaml # 骨干网络相关配置（如 ResNet 参数）

原创 如何使用GPT

你是一位时尚领域的环保专家。请帮助撰写一篇简明易懂的博客文章，主题为“可持续时尚为何在现代社会越来越重要”，面向环保意识较高的读者群体。Agent：可以根据自己的研究方向以及各种笔记等资料，打造一个专属于自己的知识库以及AI助手。C: Contextualize (背景化) - 提供上下文或背景信息，以确保模型理解问题的前提或场景。I: Input (输入) - 明确模型需要考虑的具体输入或细节。S: Structure (结构化) - 提供清晰的结构或格式，模型将根据这个结构来生成内容。

原创 linux(vim)快捷键(精简)

退出当前 shell 或终止终端会话（等效于。：将当前进程挂起，并将其放入后台。：终止当前运行的命令或进程。：删除光标前面的一个单词。：清除屏幕，相当于执行。：恢复被暂停的输出（与。：自动补全命令或文件名。：将光标移动到行的开头。：将光标移动到行的末尾。：暂停终端的输出，按。：向上查看历史命令。：向下查看历史命令。

原创 DL项目生成prompt模板(script)

├── models/ # 保存训练后的模型以及预训练模型。│ ├── train_wb.py # 特定训练逻辑（例如：维标）│ ├── data.py # 数据加载和预处理。│ ├── checkpoints/ # 保存的模型权重。│ ├── preprocess.py # 数据预处理。│ ├── raw/ # 原始数据。

原创 服务器(linux)常用指令(包括conda)

适用于日常使用服务器。

原创 使用哥白尼提供的api下载数据

下载会受到网络环境的影响,可能多运行几次或者换个时间再运行会有好结果。下载过程中可能会安装或升级一些依赖环境。

原创 实验笔记(1)

在每个实验步骤,尽可能地使用现成的函数,不要自己去重新实现算法.一方面是自己编写有难度,反复debug会浪费时间,最终效果也不好,另一方面是现成的函数多数是被优化过的,处理时间比自己写要快得多。拿到数据文件后首先要仔细阅读数据的用户手册,其次仔细查看数据文件,包括变量,经纬度范围,时间格式,scale,add_factor,cox,等等。要注意不同文件的经纬度组织形式是不一样的,有些是一维,有些二维,有些是按顺序的,有些事不按顺序的,在处理时一定要明确组织形式后再处理。基础操作尽量多复习,多记忆。

原创 深度学习理想目标

后者包括数据处理,算法实现,模型构建,并行计算优化,面向对象等一系列过程的代码编写。前者包括前向后向的计算过程以及每个模型的数学工具.能够进行全模型计算过程的数学推导(前向,后向)对于DL的学习要注重两个层面,数学和工程.将该算法融合进模型进行数学表达。了解该算法的数学表达。

原创 全球变暖与海洋

全球变暖与海洋

原创 海洋学与生活16.海洋与气候变化

气候指地球大气的物理特性在特定地区的长期平均状态气候系统包括大气圈,水圈,岩石圈,生物圈,冰冻圈地球气候系统由五大圈层之间的能量,水分,碳的交换组成包括许多复杂的反馈回路(正反馈,负反馈)45。

原创 海洋学与生活11.海洋污染

人类直接或间接地将能量或物质引入海洋环境(包括河口),造成或可能造成有害影响在研究污染物如何改变海洋环境时,缺乏足够的基础数据海洋环境的影响变化周期较长(以10-100年计量),很难确定某种变化是由自然生态周期引起的还是由引入一定数量的污染物引起的。

原创 海洋学与生活8.海浪与水动力学

产生于扰动力由不同密度流体的运动形成,沿着流体之间的界面传播各种海浪均生成于某种能量传递大多数的海浪由风生成,其它类型的海浪通过海洋中的能量转移生成。

原创 海洋学与生活7.海洋环流

处于运动状态的水团海流将处于温暖地区的热量传送到寒冷地区从热带转移至两极的总热量中,1/3由海洋表层输送,2/3由风带输送通过调节藻类生长来影响生物数量海流由风或密度驱动 水平--风生海流 垂直---密度流 高密度水下沉---深层流。

原创 海洋学与生活6海气相互作用

由于陆地热容低,升温速度约为海洋的5倍,陆地加热周围的空气,温度高密度低的空气上升,在陆地上空形成低压区,将海洋上空的较冷空气拉回陆地,形成了海风。低压单体---风将水蒸气带入---湿气凝结散热---大气变暖---空气抬升---地表压力下降---重复。空气的组成成分,温度,密度,水蒸气含量,压力之间关系错综复杂--引起大气运动。N2,O2,氩气,CO2,痕量气体(捕获热能)垂直空气柱--寒冷稠密--地表高压--空气下沉。垂直空气柱--温暖稀疏--地表低压--空气上升。

原创 海洋学与生活 5.海水

地球的恒温效应(Thermostatic Effects)很大程度上受控于水的性质。密跃层,温跃层,盐跃层的相互关系决定了上层水团和深层水团的分离程度。表层海水具有混合机制(水流潮汐)--在300以内海水温度保持不变。高纬地区表层海水溶解氧浓度高于低纬度地区(寒冷--溶解度)密跃层具有较高的重力稳定性--物理隔离相邻的海水层。纯水,冷却到4°,密度增大,4°到0°,密度减小。冰晶为六角型冰晶,密度远小于水(9%)溶解在水中的固态物质的总量(包含溶解气。盐度变化(纬度,全球,深度)P155。

原创 全球变暖与海洋

上升1.5度。

原创 SWOT笔记

HTs1-SWOT｜SWOT卫星简介宽刈幅干涉高度计SWOT(Surface Water and Ocean Topography)卫星进展（待完善）_swot卫星数据-优快云博客。

原创 FTPrush教程

FTP下载量和下载速度比web下载快FTP下载的是原始数据,变量格式和web下载的变量格式有区别,比如FTP下载文件使用short格式,web下载文件使用float格式,所以相较于web文件来说,FTP下载文件所占空间更小。