- 博客(16)
- 收藏
- 关注
RSS订阅
原创 python+selenium的使用
selenium是一个web自动化测试工具，它支持多种浏览器：ie、ff、safari、opera、chrome，我目前使用比较多的就是chrome，selenium与chrome组合也是真的好用，当然有些兼容性不好的网站，也需要考虑使用IE或360等一些第三方浏览器，我最近遇到的一个项目就是网站不兼容google，必须考虑使用360浏览器（这个我也还在研究中）环境配置python我使用的是3.7，通过Anaconda进行安装的浏览器：查看google版本（chrome://version），然后在
2020-11-01 17:14:29
637
原创 计算机视觉接口：opencv/PIL
3、几何变换等比缩放的仿射变换矩阵函数：cv2.getRotationMatrix2D(center, angle, scale)说明：center为变换中心点的坐标scale是等比缩放的系数angle是逆时针旋转的角度。虽然这里称为逆时针，但如果angle为负数，则相当于顺时针。注意：angle是以角度为单位，而不是以弧度为单位...
2020-08-19 10:29:00
227
原创 ViT模型
ViT将输入图片分为多个patch（16x16），再将每个patch投影为固定长度的向量送入Transformer，后续encoder的操作和原始Transformer中完全相同。但是因为对图片分类，因此在输入序列中加入一个特殊的token，该token对应的输出即为最后的类别预测按照上面的流程图，一个ViT block可以分为以下几个步骤。
2025-08-29 13:36:27
470
原创 python3 自动读取邮件
imbox库读取邮件import osfrom imbox import Imbox# 存储附件def save_attachments(attachments, save_dir): fujian_path_list = [] for attachment in attachments: save_path = os.path.join(save_dir, attachment['filename']) with open(save_path, '
2022-01-06 11:02:01
2069
原创 深度学习框架之《数据增强》
pytorch篇数据增强torchvision.transforms，举例如下：import torchvision.transforms as transformsdata_transforms = transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), trans
2021-01-28 20:20:03
294
原创 windows环境PySpark安装和使用
PySpark NoteBook配置修改spark\bin\pyspark2.cmd（修改前备份），我的文件路径如下：D:\opt\spark-3.0.0-bin-hadoop2.7\bin\pyspark2.cmd红框处内容修改前如上图所示，修改后如下：修改完成后，右键单击pyspark2.cmd，发送到->桌面快捷方式...
2021-01-06 15:57:00
1769
原创 xpath语法
Xpath判断某个属性是否包含或不包含指定的属性或值# 选择不包含class属性的节点".//span[not(@class)]"# 选择不包含class和id属性的节点".//span[not(@class) and not(@id)]"# 选择不包含class="expire"的span".//span[not(contains(@class,'expire'))]"# 选择包含class="expire"的span".//span[contains(@class,'expire').
2020-10-30 11:51:01
417
原创 elasticsearch
elasticsearchelasticsearch是语句java开发的，所以一定要安装jdkelasticsearch 5及其以上的版本需要安装java8及以上cmd 输入java -version查看java的版本号安装第一步：下载，https://github.com/medcl/elasticsearch-rtf第二步：按照上面的步骤执行安装命令cmd 到：G:\study_code\elasticsearch-rtf-master\bin， 执行elasticsearch即可，然
2020-09-26 17:23:49
237
原创 python(字节流、buffer、多进程)
PIL.Image.Image 转二进制流import ioimport base64def pil_image_byte(image): # image: PIL.Image.Image # 这里的操作是先将PIL.Image.Image的图片转为二进制流，然后再进行base64编码 img_byte=io.BytesIO() image.save(img_byte,format='PNG') image_data = img_byte.getvalue() .
2020-09-07 15:29:55
2324
原创 PDF文件处理
pdf转图片import sys, fitzimport osimport datetimedef pyMuPDF_fitz(pdfPath, imagePath, pdf_num): startTime_pdf2img = datetime.datetime.now()#开始时间 print("imagePath="+imagePath) pdfDoc = fitz.open(pdfPath) for pg in range(pdfDoc.pageCoun.
2020-08-17 17:17:06
313
原创 CNN-卷积神经网络
卷积运算卷积运算可划分为三种：Same卷积、Valid卷积、Full卷积(反卷积)。为什么要padding因为在卷积/池化过程中过滤器可能不能将某个方向上的数据刚好处理完Same卷积通过Padding填充0运算保证卷积前后特征图大小不变Valid卷积不补零，忽略边界，特征图会变小Full卷积实现反卷积运算的核心步骤是在特征图中padding 0，然后进行卷积运算使得特征图变大。FCN反卷积首先对特征图各神经元之间进行0填充，即上池化；然后再进行卷积运算...
2020-08-05 16:39:13
987
原创 数据预处理方式
1. 去均值操作：各维度都减对应维度的均值，使得输入数据各个维度都中心化为0原因：如果不去均值的话会容易拟合。 这是因为如果在神经网络中，特征值x比较大的时候，会导致W*x+b的结果也会很大，这样进行激活函数（如relu）输出时，会导致对应位置数值变化量太小，进行反向传播时因为要使用这里的梯度进行计算，所以会导致梯度消散问题，导致参数改变量很小，也就会易于拟合，效果不好。其他：有的说去均值是为了对图像进行标准化，可以移除图像的平均亮度值 (intensity)。很多情况下我们对图像的照度并不感兴趣
2020-07-22 17:01:02
575
原创 爬虫框架-Scrapy
CrawlSpider需要使用LinkExtractor和Rule这两个东西来决定爬虫的具体走向allow设置规则的方法：要能够限制在我们想要的url上面，不要跟其他url产生相同的正则表达式即可；什么情况下使用follow：如果爬取的页面需要将满足当前条件的url在进行跟进，那么就设置成True，否则设置成False...
2020-07-22 16:47:55
332
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人