- 博客(45)
- 收藏
- 关注
原创 Ubuntu24.04系统使用py-opencv报错:ImportError: libGL.so.1: cannot open shared object file: No such file ...
注意,在ubuntu24.04系统上。的命令安装是会报错的。
2024-10-10 20:25:42
390
原创 Ubuntu24.04.1系统下VideoMamba环境配置
VideoMamba环境的配置折磨了我三天,由于Mamba对Cuda的版本有要求,因此配置环境的时候Cuda版本以及各种包的版本问题是最需要注意的,下面我来一步一步的演示如何配好VideoMamba模型的运行环境。
2024-09-30 22:37:10
1257
5
原创 4.用python爬取保存在text中的格式为m3u8的视频
这个链接就是我们真实的要获取的视频信息的链接。可以看到,视频的链接(1)和和视频的请求链接(3)不是同一个,这是网站做了加密的处理,也是防止爬取的一种手段。,可以看到这个网站的视频不是mp4格式的视频,而是m3u8格式的视频流,这样就不能按照mp4格式那样直接下载了,就需要下载视频流的所有视频文件然后合并得到视频。,我们打开多个爬取的不同的视频的下载链接,以同样的方式查看其m3u8链接会发现,会发现不同的视频的m3u8的链接其实都是很相似的,链接可以拆为三部分,其中第一部分和爬取的视频的下载链接的。
2024-05-08 20:53:09
2004
原创 解决Pyppeteer下载chromium慢或者失败的问题[INFO] Starting Chromium download.
然后根据日期找一个比较新的点进去,我选的是1294824文件夹。然后将对应自己系统的那一行换成自己刚刚复制的链接就可以了。在首次使用Pyppeteer时需要下载chromium。
2024-05-07 21:06:12
1567
1
原创 1.python爬虫爬取视频网站的视频可下载的源url
最后获取的是视频的下载地址url,如果要爬取视频还需要写一个视频下载脚本,可以看后面的教程。
2024-05-06 18:02:56
5587
4
原创 安装文本-图像对比学习模型CLIP的方法
这里需要注意的是,我们想要安装的是OpenAI的clip,而我们直接使用上面的命令安装的不是我们想要的对比学习模型clip,而是安装了一个命令行界面工具(很快就可以安装成功了,最推荐大家用的就是离线安装的方式,安装速度是最快的也是最不容易出错的,但是注意在安装clip之前记得先装pytorch。这种安装方式由于国内网的问题,安装速度会特别慢而且容易失败。首先激活自己的环境,比如我的环境为python38。OpenAI在clip的github。比如我的环境为python38。之后执行下面的命令安装clip。
2023-12-16 21:07:27
2443
1
原创 Ubuntu学习笔记(二)——文件属性与权限
前面介绍了Ubuntu系统的目录结构以及路径(相对路径和绝对路径),但是我们知道服务器的Ubuntu经常是多个人同时使用,因此在Ubuntu系统中同一个的文件相对于不同的用户往往有不同的权限。下面讲简单介绍一下Linux服务器的用户与用户组的概念,然后介绍文件的属性和权限。在这里,以鸟哥的Linux私房菜中的代码段为例来介绍文件的属性。[ dmtsai@study ~ ] $ su - # 先来切换一下身份看看= 范例说明处。
2023-07-18 21:53:09
2940
原创 pip镜像源,解决安装包慢的问题
由于 python 的第三方库的来源是国外源,使用国内网络进行pip安装库时会出现下载缓慢、卡顿等现象,很耽误时间,而且很容易安装失败。我们在国内使用国内的镜像源可以很好的解决这个问题。本人对比了使用国内源和不使用国内源的速度,使用国内源的速度差不多10MB/s,不使用的话只有200KB/s。上面以安装numpy包为例,只需在安装命令之后添加上。
2023-07-15 21:45:24
360
原创 Windows上查看服务器上tensorboad内容
本篇文章是针对于局域网内的服务器的tensorboard可视化,由于设置方式稍微有点复杂,导致我每次隔了一段时间之后,就不知道该怎么查看tensorboard了,每次都要百度搜一大堆资料,而且也不一定好使,在这里记录一下连接的方式。我使用的是Xshell7来进行的端口映射,当然tensorboard可视化的方式并不是只有这一种,这只是我认为的比较方便的一种连接。
2023-07-15 21:27:58
1769
原创 Xshell7连接Linux服务器的两种方式
注意:在命令行中连接服务器的方式中,如果你创立了服务器1的会话,并且已经连接上了,那么你可以直接在服务器1的会话中输入上面连接服务器2的命令,这样也可以连接上服务器2。所以说只要是在命令行中,就是可以直接使用上面的命令连接服务器的。主机那里需要填写服务器的ip地址,可以是局域网的ip(如果服务器和你的电脑处于局域网内),也可以是公网ip。然后在这个命令行中,输入以下命令,用户名就是服务器上你注册的用户名,地址是服务器的ip地址。用户名是你在服务器上创建的用户的名字,密码服务器中对应的密码。
2023-07-05 22:03:24
3289
原创 Ubuntu学习笔记(一)——目录与路径
在介绍本章用到的基本命令之前,先介绍一下Linux的路径,我们对Windows系统很熟悉,我们知道Windows系统中的所有文件都是在从盘符开始的,并且文件都是存储在磁盘的(C盘、D盘、E盘等)比如C:\user\图片。但是Linux系统是完全不一样的,在Linux中,文件系统里面不都是磁盘文件。Linux文件系统里面除了磁盘文件,还有很多设备、甚至一些虚拟的对象,也在文件系统目录里面访问。
2023-07-05 21:03:21
4078
原创 反向传播与梯度下降
之前对反向传播和梯度下降一直不太通透,感觉理解的很模糊,理解层次仅仅局限在概念上。因此为了能够对反向传播和梯度下降的具体的原理和计算过程有一个清晰的认识,本人又去重温一遍李宏毅老师的课,在此将学习过程和自己的见解记录在此。反向传播是为了计算每个参数对loss的导数的;反向传播中的forward pass是为了保留计算图中的任意一次计算的w对z 的导数的,这样在backward pass计算的时候就可以根据forward pass计算的导数计算出来loss对w的导数。
2022-11-09 00:13:35
2568
原创 对神经网络的深入思考
神经网络直观上的理解,就是可以通过多层的网络来拟合空间中任意一个函数,但是如果深入的思考一下就会产生很多的疑问,比如神经网络拟合的到底是什么样的函数呢?loss函数和优化器除了是在帮助模型更新参数以外,到底是在做什么的呢?神经网络本质就是一个数学函数,只不过这个函数比较复杂,我们无法手写出来。在设计网络结构的时候,网络结构就包含了一个函数的集合,不同结构就决定了不同的函数集合,这个我们在上面也介绍了。
2022-11-07 00:04:32
546
原创 期刊、会议、SCI、EI、IEEE、CCF、ACM的区别与联系
他们的文章从哪来,因为是期刊,所以每年可能分为两期,三期啥的,我们写的论文就是刚好到那一期的时间就投给他,他的专家评审后,如果觉得写得好,这个期刊就会收录我们的文章,然后在这个期刊出版后,我们就能在这个期刊(就像一本杂志书一样)中看到我们的文章了,里面有还有很多别人投的这个类型的文章。如何看到这些我们想要的高质量文章,从上面的总结,我们可以看出,IEEE出版社发行的期刊质量都挺高的(IEEE的会议论文质量就没那么高了),很多都被SCI数据库给收录了,说明他的期刊质量确实高。查看CCF的推荐等级。
2022-09-28 22:05:20
22367
1
原创 彻底理解python3的编码和解码过程
1.在所有的编解码方式中,ASCIl码字符对应的二进制表示都是—样的。2.编解码要相对应,才能不损失数据原本的意义,才不会误解数据;数据以编码方式1进行编码得到字节流,那么这段字节流必须以对应的解码方式1进行解码,才可以得到原始的数据;否则这段字节流可能会:1.解码成别的数据〈按照解码方式2,这一段二进别位对应了别的字符);2.解码失败〈按照解码方式2,这一段二进制位可能不对应任何字符)。
2022-09-27 22:24:55
1966
原创 如何在插入网线的情况下,使用wifi上网
以我本人为例,我们实验室的服务器需要通过局域网才能访问,而服务器的局域网是在我们隔壁的屋子,因此我只能通过隔离的wifi才能访问服务器,但是隔壁的wifi不稳定并且比较慢,我的想法是我在需要连接服务器的时候就连接上隔壁的wifi,平时不连接服务器的时间就用我们屋的网线。如果你们试过的话同时连接网线和wifi的话,应该发现电脑的网线连接的优先级是比wifi要高的,在你连接网线的情况下,虽然可以连接上wifi,但是只能使用有线连接。
2022-09-14 13:05:39
21878
2
原创 阿里云部署flask项目(CentOS7使用nginx+gunicorn)(3):nginx和gunicorn的安装和使用
在这章介绍在centos7系统中如何使用nginx和gunicorn来部署flask项目。
2022-08-01 00:52:25
1313
原创 阿里云部署flask项目(CentOS7使用nginx+gunicorn)(2):xshell连接远程服务器和pycharm实时更新云端项目代码
为了能够更方便的访问服务器,在这里使用xshell工具进行连接。由于在远程服务器上更改代码相对pycharm可视化界面来讲不是很方便,我们使用pycharm连接服务器上的项目代码来进行实时更新。
2022-07-25 19:15:26
981
原创 阿里云部署flask项目(CentOS7使用nginx+gunicorn)(1):创建用于flask项目的anaconda环境
目前flask项目的部署教程中都是使用原python3环境进行部署,在这里我使用anaconda中的环境运行服务器上的flask项目。
2022-07-25 18:32:48
1148
原创 给文件编号(改名)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录一、基础函数的讲解os.listdir() 方法os.rename() 方法zfill()方法os.path.splitext()方法二、代码一、基础函数的讲解os.listdir() 方法os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表。它不包括 . 和 … 即使它在文件夹中。只支持在 Unix, Windows 下使用。语法格式:filename = os.listdir(path.
2022-04-07 21:47:06
499
原创 os.listdir()的使用教程
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录一、我的文件格式二、具体操作1.我的任务介绍2.代码一、我的文件格式一级文件夹为’videodataset’二级文件夹为(图片):三级文件夹下为各个类别的视频二、具体操作1.我的任务介绍我的任务就是要找出所有视频中是否有小于96帧的视频,如果有则返回帧数和视频名称2.代码代码如下(示例):import osimport skvideo.iopath = 'D:\\videodataset' files .
2022-04-07 15:52:52
2084
原创 加载预训练模型的部分参数
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言第一步:按参数文件实现模型第二步:加载参数前言例如:如果你想用已经训练好的模型来作为你的任务的特征提取器,可是不需要完整的模型,模型的一部分提取特征就可以,那么看我下面的例子,分两步来详细说明如何加载部分模型的参数。第一步:按参数文件实现模型下面我用C3D模型来做例子,C3D模型的实现代码,我只用了fc6层之前的模型部分,将后面的层都注释掉了。import torchimport torch.nn as nn.
2022-04-07 13:38:38
623
原创 pytorch中transforms的使用限制
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档pytorch中transforms的使用限制1.pytroch 的transform中图像增强方法都是基于PIL图像做的2.numpy图片格式转化为PIL格式3.PIL图片格式转化为numpy格式1.pytroch 的transform中图像增强方法都是基于PIL图像做的例如:transform = transforms.Compose([ transforms.ToTensor(), transfo
2022-03-01 21:04:49
3068
原创 AssertionError: Cannot find installation of real FFmpeg (which comes with ffprobe)
AssertionError: Cannot find installation of real FFmpeg (which comes with ffprobe)问题描述:import skvideo.iovid = skvideo.io.vread('20211205220849.mp4') 这段代码会报错。解决方案:第一步安装conda-forgeconda-forge是编译的ffmpeg视频编解码库,它可直接对视频读存取`conda install ffmpeg -c con
2022-02-10 16:13:32
1736
原创 模型训练环境测试
import torchprint(torch.cuda.is_available())print(torch.version.cuda)print(torch.version)
2021-12-08 14:10:57
855
原创 2K/4K/8K怎么算的?720P/1080P是啥意思?
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录一、‘P’二、‘K’三、1080P四、4K一、‘P’720P,1080P等,表示的是“视频像素的总行数”,比如720P表示视频有720行的像素,而1080P则表示视频总共有1080行像素数,1080P分辨率的摄像机通常像素数是1920*1080.‘P’本身表示的是“逐行扫描”,是Progressive的缩写,相对于隔行扫描。二、‘K’2K,4K等,表示的是“视频像素的总列数”,如4K,表示的是视频有4000列像素数,具体是
2021-12-03 22:55:30
5788
原创 像素和分辨率的关系
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录像素和分辨率一、图片的像素二、显示屏的分辨率三、相机里图片的尺寸四、像素点里面还有什么五、像素值和最终打印出相片大小的关系像素和分辨率像素用于对图片的描述上,分辨率用于对显示屏的描述。一、图片的像素只要你用到手机里的照相功能,你都要接触到这两个概念。只是大多数人都是一知半解,而更多的人却根本就不知道,白白浪费了手机里4800万、6400万像素的摄影头,却不知道如何调节使用。像素是组成图象的最基本单元要素:点。分辨率是指在
2021-12-03 22:43:09
9020
原创 Anaconda中的环境在jupyter中无法使用的解决方案
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录一、问题描述二、解决方法第一步:第二步:一、问题描述可以看到在python36这个环境中无法使用jupyter notebook下面我们来jupyter中链接python36这个环境,具体看看会出现什么问题可以看到无法连接到python36二、解决方法第一步:在D:\ProgramData\Anaconda3\share\jupyter\kernels路径下,新建一个文件夹python36在文件夹中复制原来存
2021-12-02 21:31:08
3982
原创 Anaconda配置项目环境
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录一、创建一个新的环境二、安装项目需要的库1.在项目所在的目录位置输入cmd打开2.查看Anaconda中的环境3.激活要使用的环境4.看所在路径下的目录4.安装包5.执行程序一、创建一个新的环境在cmd命令行里面输入以下代码conda create -n pyhton37 pyhton==3.7.3这一步也可以在Anaconda里面创建二、安装项目需要的库1.在项目所在的目录位置输入cmd打开打开后如下图:2
2021-11-30 23:09:06
2284
原创 python——对列表的操作
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、[-1]二、[:-1]三、[::-1]四、[:,:,0]五、[...,0]前言在python中会出现[-1]、[:-1]、[::-1]、[n::-1]、[:,:,0]、[…,0]、[…,::-1]等等操作下面我们就对python中出现的上述一系列操作进行详细介绍一、[-1]原型[-n]:列表倒数第n项例:c=[1,2,3,4,5,6,7]c[-1] #倒数第1项Out: 7c[-2]
2021-11-09 23:09:54
621
原创 切片的高级操作
import numpy as npa = np.array( [[[1,2,3],[4,5,6],[7,8,9]], [[10,11,12],[13,14,15],[16,17,18]], [[19,20,21],[22,23,24],[25,26,27]]])a.shapeOut:(3, 3, 3)下面我们对第三维进行逆转a[...,::-1] #等价于a[:,:,::-1]Out: array[[[ 3, 2,
2021-11-09 16:59:15
619
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人