自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(202)
  • 收藏
  • 关注

原创 C语言(九)——文件的读写

每个被使用的文件都在内存中开辟了一个相应的文件信息区,用来存放文件的相关信息(如文件的名字,文件状态及文件当前的位置等)。可以使pf指向某个文件的文件信息区(是一个结构体变量)。在编写程序的时候,在打开文件的同时,都会返回一个 FILE* 的指针变量指向该文件,也相当于建立了指针和文件的关系。每当打开一个文件的时候,系统会根据文件的情况自动创建一个FILE结构的变量,并填充其中的信息使用者不必关心细节。不同的C编译器的FILE类型包含的内容不完全相同,但是大同小异。mode:文件的打开模式,读、写或追加。

2025-03-31 09:42:52 427

原创 C语言(八)——动态内存管理

像局部变量,形式参数这种临时变量,存储在栈区malloc, calloc, realloc, free 是在堆区申请的空间。

2025-03-31 09:42:25 840

原创 C语言(七)——数据存储_数据类型

大端(存储)模式,是指数据的低位保存在内存的高地址中,而数据的高位,保存在内存的低地址中;小端(存储)模式,是指数据的低位保存在内存的低地址中,而数据的高位,,保存在内存的高地址中。

2025-03-13 14:15:40 589

原创 C语言(六)——指针

指针就是地址,口语中说的指针通常指的是指针变量。

2025-03-13 14:12:05 625

原创 C语言(五)——操作符

表达式的整型运算要在CPU的相应运算器件内执行,CPU内整型运算器(ALU)的操作数的字节长度一般就是int的字节长度,同时也是CPU的通用寄存器的长度。因为char 为有符号的char所以整形提升的时候,高位补充符号位,即为1提升之后的结果是:11111111 11111111 11111111 11111111。= += -= *= /= &= ^= |= >>= <<= // “a+=b”等同于 a = a + b。取决于他们的优先级。

2025-02-19 15:04:34 1085

原创 C语言(四)——数组

所以数组的下标如果小于0, 或者大于 n-1, 就是数组越界访问了,超出了数组合法空间的访问。type是数组的元素类型;1.sizeof(数组名), 这里的数组名表示整个数组,计算的是整个数组的大小,单位是字节。数组的下标规定是从0开始的,如果数组有n个元素,最后一个元素的下标就是 n-1。在C99标准之后,数组的大小可以是变量,为了支持变长数组,变长数组不能初始化。数组的初始化是指,在创建数组的同时给数组的内容一些合理的初始值(初始化)。2.&数组名,这里的数组名表示整个数组,取出的是整个数组的地址。

2025-02-19 15:04:03 824

原创 C语言(三)——函数

定义函数:函数体return 返回值调用函数:其中ret_type 表示函数的返回类型(不能省略);注意不写返回类型时,默认返回的是 int 类型如果写了返回类型,函数不返回结果,则默认返回函数的最后一条语句结果所以主函数 int main() 必须有 return 0,不写虽然不报错,但是不规范func_name 表示函数名;type表示数据类型如int, float;param表示变量名如x, y。函数调用部分传入的是实参, 函数定义部分的参数是形参。

2025-02-18 15:51:46 849

原创 C语言(二)——分支和循环

什么是语句?。用于控制程序的执行流程,以实现程序的各种结构方式,它们由特定的语句定义符组成,C语言有九种控制语句。可以分为以下三类:条件判断语句也叫分支语句:if 语句, switch语句;循环执行语句:do-while 语句, while 语句, for 语句;转向语句:break 语句, goto 语句, continue 语句, return 语句。

2025-02-18 15:51:04 1018

原创 安装torch-geometric库

根据自己的torch和cuda版本安装 torch-geometric库。下载以上五个库的wheel文件之后,使用 pip install 安装。根据自己的torch版本和CUDA选择。在命令行使用 wget 下载链接。选择需要的版本,右键复制链接。查看pytorch版本。

2024-12-26 10:23:19 909

原创 C语言(一)——初识C语言

main()函数是程序的入口,所以要有主函数必须且唯一, int表示整型,“()”中为函数的参数,return 表示返回,0表示整数,为什么返回 0 ,而不返回其他整数,在共识中,认为 0 表示正常返回,约定俗成。printf为打印,打印的内容用打印,语句结束要用结尾。【此外:scanf为输入函数其中输入两个数a, b,并用空格分开,“&”表示取地址。使用 scanf时添加仅限于vs软件编辑。scanf_s是vs平台自有的函数】printf为库函数,要是用库函数需要引入头文件。

2024-12-23 16:40:30 679

原创 设置随机数种子

默认情况下,Python 中的哈希值(如字典的键)在不同的会话或 Python 运行中可能会变化,这会导致非重复性。设置此环境变量可以强制 Python 在对象(如字典)中使用固定的哈希种子。如果使用 GPU,这行代码确保 GPU 上的操作也会有确定的随机数生成器。时,cuDNN 会确保像卷积操作这样的运算是可重复的。模块的随机种子,该模块用于生成随机数,如洗牌、采样等操作。这样可以确保使用该模块进行的随机操作是确定性的。等)都依赖于随机数生成器,因此设置该种子能确保这些操作在每次运行时产生相同的结果。

2024-12-23 09:56:37 460

原创 Plot(box, bar, violin)

【代码】Plot。

2024-08-16 10:35:43 360

原创 joblib的使用

是 Python 中joblib库的一部分,常用于将 Python 对象序列化并保存到文件中。相比于picklejoblib更适合处理大型数据,因为它在序列化过程中效率更高,特别是在存储包含大量 numpy 数组的数据时。

2024-08-12 16:39:42 789

原创 此扩展在此工作区中被禁用,因为其被定义为在远程扩展主机中运行。

安装python时显示, 此扩展在此工作区中被禁用,因为其被定义为在远程扩展主机中运行。使用VScode打开代码时,无法跳转函数,不提示报错。Ctrl+Shift+P :键入trust ,在服务器中重装python就可以了。在受信任文件夹中添加你的工作目录。

2024-07-19 10:41:21 2617 1

原创 VScode:Install terminal quit with output: 过程试图写入的管道不存在

应该是本地记录服务器信息和现有的产生了冲突。

2024-07-19 09:49:05 1336

原创 服务器系统盘存储不够,添加数据盘并挂载(阿里云)

运行结果如下所示,表示当前ECS实例有两块云盘,/dev/vda是系统盘,/dev/vdb是新增数据盘。如果您需要设置开机自动挂载云盘,需要在/etc/fstab中写入新分区信息,启动开机自动挂载分区。其中,1是对应的分区号,通常建议您做分区对齐,以获取更好的云盘性能。其中,/dev/vdb1是数据盘的分区名称,请您根据实际环境替换。其中,/dev/vdb是数据盘的设备名称,请您根据实际环境替换。其中,/dev/vdb是数据盘的设备名称,请您根据实际环境替换。①运行以下命令,开始分区。

2024-07-17 10:44:39 1999

原创 安装元学习库 learn2learn

报错显示没有安装 版本大于 0.28.5 的 cpython 库。然后再安装 learn2learn就成功了。

2024-07-16 16:23:20 502

原创 Visual Studio 2022 安装及使用

下载免费的社区版得到一个.exe文件右键安装选择C++开发,并修改安装位置等待安装点击启动。

2024-07-11 16:28:45 5567

原创 由于找不到 pth由于找不到 pthreadVc2.dll,无法继续执行代码,重新安装程序可能会解决此问题。pthreadVc2.dll,无法继续执行代码,重新安装程序可能会解决此问题。

最近在安装FoldX,启动(win+R/cmd/FoldX)时报错“由于找不到 pthreadCV2.dll,无法继续执行代码,重新安装程序可能会解决此问题。”原因是缺少“pthreadCV2.dll”。将下载的压缩包解压缩,将 dll 文件放置到与 “fold.exe” 同级的文件夹下。根据自己的系统是 32位, 还是 64位 选择相应的版本。在以下位置下载 “PthreadCV2.dll”文件。然后再重新执行就成功了。

2024-07-02 11:16:42 1137 1

原创 文档格式批量转换-LibreOffice安装及使用(Windows)

点击Windows版本下载安装下载的文件安装类型选择自定义,下一步修改软件安装的位置,为了不占用C盘空间,我安装在了D盘。文件类型都没有选择然后点击下一步直至安装完成。

2024-06-26 17:35:00 1626

原创 ModuleNotFoundError: No module named ‘transformers.models.mmbt‘

此时的 simpletransformers 的版本是。transformers版本的问题,报错的版本是。将transformers调整至。

2024-04-23 11:37:25 497

原创 pip install seqeval 报错

先运行以下代码,再重新安装就可以了。

2024-04-23 11:12:56 375 1

原创 报错:ERROR: Command errored out with exit status 1: python setup.py egg_info Check the logs for full c

然后再使用 pip install 安装需要的包,就可以成功安装。

2024-04-22 09:34:50 2101

原创 运行transformers报错check_min_version(“4.40.0.dev0“)

安装的 transformers 版本不对,这里安装了 4.39.3,实际想要安装 4.40.0.dev0。即可安装4.40.0.dev0版本的transformers。)下载transformers的项目。解决:从 huggingface安装。在huggingface (

2024-04-17 11:01:17 1204 1

原创 pytorch梯度累积

pytorch每次forward完都会得到一个用于梯度回传的计算图,pytorch构建的计算图是动态的,其实在每次backward后计算图都会从内存中释放掉,但是梯度不会清空的。同时,因为累计了4个batch,那学习率也应该扩大4倍,让更新的步子跨大点。看网上的帖子有讨论对BN层是否有影响,因为BN的估算阶段(计算batch内均值、方差)是在forward阶段完成的,那真实的batch_size放大4倍效果肯定是比通过梯度累加放大4倍效果好的,毕竟计算真实的大batch_size内的均值、方差肯定更精确。

2024-02-27 16:04:32 1157

原创 BPE的使用(代码)

【代码】BPE的使用(代码)

2024-02-27 15:57:37 640

原创 安装miniconda、tensorflow、libcudnn

使用 print(tf.config.list_physical_devices('GPU')) 查看GPU时报错。tensorflow官网,查看版本对应。报以上错误是因为没有安装cudnn。

2024-01-23 16:05:58 766 1

原创 R语言——独立性检验函数、相关性分析函数和相关性检验函数、绘图函数(七)

独立性检验是根据频数信息判断两类因子彼此相关或相互独立的假设检验。所谓独立性就是指变量之间是独立的,没有关系。独立性检验算法:卡方检验、Fisher检验、Cochran-Mantel-Haenszel检验假设检验(Hypothesis Testing)是数理统计学中根据一定假设条件由样本推断总体的一种方法。原假设——没有发生备择假设——发生了具体做法:根据问题的需要对所研究的总体作某种假设,记作H0;选取合适的统计量,这个统计量的选取要使得在假设H0成立时,其分布为已知;

2024-01-03 09:26:02 2098

原创 R语言——R函数、选项参数、数学统计函数(六)

lm()是R语言中经常用到的函数,用来拟合。它是拟合线性模型最基本的函数其中,formula指要拟合的模型形式,data是一个数据框,包含了用于拟合模型的数据。结果对象(本例中是fit)存储在一个列表中,包含了所拟合模型的大量信息。结果会显示:使用函数时要注意函数的返回值类型,比如有些函数返回值是列表,那就不能将其运用到使用向量的环境中。有些函数只能处理矩阵,有些函数既能处理矩阵也能处理数据框,使用函数时,需要知道每个函数的输入数据格式,否则就会出错。

2024-01-03 09:25:24 3300

原创 R语言——reshape2包、tidyr包、dplyr包(五)

使用merge函数【使用 cbind 或 rbind 无法区分哪部分来自 x , 哪部分来自 y。merge(x,y,by)合并函数:by表示根据x和y中的某一列进行合并。如:安装reshape2包:install.packages('reashape2')加载reshape2包:library(reshape2)(使用R中的airquality数据集做演示)

2024-01-02 10:39:47 2278

原创 R语言——数据操作(四)

tapply(x,INDEX,FUN):x是向量或其他,INDEX是一组因子,利用这个因子,可以对第一个参数的数据进行分组。使用 length(rownames()) 和 length(colnames()) 可以查看行数和列数。是指在中心化之后再除以数据集的标准差,即数据集中的各项数据减去数据集的均值再除以数据集的标准差。x是数组、矩阵或数据框;sapply(x,FUN):s代表simplify,x是列表,返回值是向量或者矩阵。lapply(x,FUN):l 代表list,x是列表,返回值是列表。

2024-01-02 09:36:12 1848

原创 pytorch 分布式训练

神经网络训练加速的最简单方法是使用GPU,对弈神经网络中常规操作(矩阵乘法和加法)GPU运算速度要倍超于CPU。随着模型或数据集越来越大,一个GPU很快就会变得不足。例如,BERT和GPT-2等大型语言模型是在数百个GPU上训练的。对于多GPU训练,需要一种在不同GPU之间对模型和数据进行切分和调度的方法。PyTorch是非常流行的深度学习框架,它在主流框架中对于灵活性和易用性的平衡最好。和。DataParallel更易于使用(只需简单包装单GPU模型)。

2023-12-26 13:57:05 3650

原创 pip freeze 导出的requirements.txt文件含有 @file

使用 pip freeze > requirements.txt 导出的文件中含有 @file://解决:pip list --format=freeze > requirements.txt。原因是这种方法生成的文件只能用于本地环境,无法供他们使用。使用这个文件在其他环境下安装就会出现 找不到路径的错误。使用以下方式生成文件。

2023-12-26 10:13:02 1469 1

原创 R语言——文件读写(三)

追加写入:write.table(b, file = 'E:\\R\\R_file\\new_file.txt',sep = ',', row.names = F,col.names = F, quote = F,append = T)write.table(b, file = 'E:\\R\\R_file\\new_file.csv',sep = ',', row.names = F):定义row.names为FALSE, 不添加行号。header:作用是在读取数据时,是否将第一行数据作为变量的名称。

2023-12-20 16:42:13 5645

原创 R语言——基本操作(二)

创建矩阵,nrow 和 ncol 可以省略,但其值必须满足分配条件,否则会报错只写一个值则自动分配,默认按列分配byrow属性可以控制矩阵按行排列定义矩阵行和列的名字dim(x):输出x的维度dim(x)

2023-12-20 16:41:44 1705 1

原创 R语言——基本操作(一)

查看所有历史记录,比直接使用 ↑ 查找更方便中断操作,可中断未完成的操作(未完成回车后是 + ),也可以清空命令。清空屏幕显示R studio中所有的快捷操作。

2023-12-18 09:24:45 10928 1

原创 多进程运行含有任意参数的函数、为什么multiprosessing会进行多次初始化

使用偏函数:偏函数有点像数学中的偏导数,可以让我们只关注其中的某一个变量而不考虑其他变量的影响。如以下代码中,我们要将set_seq、tokenizer和model作为变量传入“Seq_to_vec”函数中。particial函数中,“Seq_to_vec”是一个函数,tokenizer和model是不变的量,“map_async”中particial_func为偏函数,set_seq为可迭代对象。

2023-12-18 09:23:31 1224

原创 AttributeError: Can‘t get attribute ‘WordVocab‘ on <module ‘__main__‘ from ‘genetic_algorithm.py‘>

原因:就像我们在保存模型的时候有两种方式,一种是保存整个模型,虽然很大但是使用方便;这里也是一样的,vocab.pkl在加载时也需要找到其依赖的类,而在报错信息中也说明了,需要导入的类是WordVocab。背景:在看代码的时候想看看一个pkl文件的文件结构和里面的数据,于是就用pickle.load打开,但是出现了AttributeError: Can't get attribute 'WordVocab' on

2023-12-15 09:43:03 748

原创 scrapy post请求——百度翻译(十四)

scrapy处理 post 请求爬取百度翻译界面。

2023-12-14 09:13:52 654

原创 scrapy ——链接提取器之爬取读书网数据(十三)

1.继承自 scrapy.spider2.CrawlSpider可以定义规则。在解析 html 的时候,可以根据链接规则提取出指定的链接,然后再向这些链接发送请求。所以,如果有需要跟进链接的请求,意思就是爬取了网页之后,需要提取链接在此爬取,使用CrawlSpider是非常合适的。3.提取链接链接提取器,在这里就可以写规则提取指定链接allow=(), # (常用)正则表达式 提取符合正则的链接deny=(), # 正则表达式,不提取符合条件的链接。

2023-12-14 09:13:07 1164

遥感影像批量裁剪、数据切分、数据增强、位深度转换代码

代码包括遥感影像的单图裁剪、批量裁剪;训练集、验证集和测试集的切分;目标检测和语义分割影像的数据增强;32/16位深度转8位深度。 1、主要用于深度学习领域的遥感影像数据处理,主要针对输入数据为tif,转为jpg、png格式,并将数据裁剪为网络可以训练的大小,可以手动调节裁剪步长(即有重叠或无重叠),可以对单张图像进行裁剪,也可对文件夹内的所有图片进行裁剪。 2、可以根据想要划分的训练集、验证集和测试集的比例进行划分,如9:1:1. 3、本代码还提供了用于目标检测和语义分割任务的数据的增强,主要包括仿射变换、平移翻转等。 4、此外,代码还针对遥感影像位深度32或者16的转为8位的操作。 本代码可修改性强,为方便理解,每部分代码都进行的标注。本文件共包含10个python文件。

2022-09-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除