自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(17)
  • 资源 (1)
  • 收藏
  • 关注

原创 Appium App自动化测试框架安装和使用

Appium构成和工作原理前言:每一篇博客我都想完成一个前言,第一是明确我对写这篇博客得态度,必须要认真和用心,另外作为技术分享,我也希望能帮助到一些伙伴有一些技术性得提升,测试 “点点点” 得时代已经结束,毕竟现在是智能化、自动化的时代,我们也必须要用技术武装自己,这样才能不被时代抛弃(明明可以靠脸吃饭的我,硬是吃成了一个胖子)。adb构成client端, 在电脑上,负责发送adb命令daemon守护进程,在手机上,负责接收和执行adb龠令server端, 在电脑上,负责管理client和d

2020-05-30 13:31:22 2541

原创 本项目是基于Django实现的前后端分离项目主要实现后端API和后台管理,遵循RESTFUL规范。

个人项目 readbook 后端接口项目分享readbook 项目地址项目介绍:本项目开源,没有任何商业用途,这里提供项目后端源码,本项目采用django 框架完成,接口风格偏向Restful风格(什么是restful请看这里),本项目主要实现了一些简单的CRUD功能,主要涉及到的接口方式有:GET、POST、PUT、DELETE 后会附上接口文档。作为一名测试人员,我觉得学习是一件 “生命不止,永不停息” 的事,送给那些将要入坑,或者已经入坑的人。代码部分本地运行项目步骤step0:环境配

2020-05-28 16:45:09 1178 2

原创 爬虫之URL去重

URL去重我们在协爬虫时为什么需要进行URL去重?在爬虫启动工作的过程中,我们不希望同一个url地址被多次请求,因为重复请求不仅会浪费CPU,还会降低爬虫的效率,加大对方服务器的压力。而想要控制这种重复请求的问题,就要考虑请求所依据的url,只要能够控制待下载的URL不重复,基本可以解决同一个网页重复请求的问题。对于已经抓取过的url,进行持久化,并且在启动的时候加载进入去重队列,是一个比...

2019-04-07 10:04:08 5350

原创 celery的介绍和在爬虫的中使用

一、Celery介绍和基本使用Celery官方文档:http://docs.celeryproject.org/en/latest/index.htmlCelery是什么?Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理, 如果你的业务场景中需要用到异步任务,就可以考虑使用celery, 举几个实例场景中可用的例子:异步任务:将耗时的...

2019-04-02 22:43:15 1528

原创 华为笔试题,路过的可以做一下

python代码这里使用的冒泡排序,因为冒泡排序是内部是稳定的def example(): """ 数组中的元素: 例如:1_100_40 1:表示学生编号 100:表示身高 40:表示体重 """ data = ["1_100_40", "2_100_30", "3_120_60", "4_130_50","5_100_30","6_120_70"] for i in range(0,len(data)-1): .

2020-12-18 23:49:56 948 4

原创 一般常见手撕代码题

斐波那契数列斐波那契数列第一项为0,第二项为1,从第三项开始,每一项为前两项相加之和python代码def feibonaqie(num): a, b = 0, 1 fbnq = [a,b] for i in range(2,num+1): a, b = b, a+b fbnq.append(b) print(fbnq) return fbnqJava代码public static int[] fbnq(int num){

2020-12-17 18:10:18 1213

原创 Mysql 用户密码遗忘后,重新设置密码

mysql密码重置网上有很多资料教你重置密码我这里不再过多的描述,给大家找了两篇很典型的,但是确实没成功,也许你按照如下两篇博客流程走就成功了:网上案例1重置密码遇到ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using passwor:yes)问题网上案例2:windows mysql密码异常说明,接下来跟案例2流程类似,我根据案例2配置完跳过密码后,使用超级管理员启动mysql发现无法启动,故没有继续那个套路。下

2020-12-05 13:22:22 303

原创 弱网测试看这里就够了

弱网测试看这里就够了在互联网的时代里,网络信号扮演着一个十分重要的角色,可以毫不夸张的说,对于部分人来讲,失去了网络信号就是失去了全世界,在互联网产品中网络同样影响着用户对产品的体验,所以身为测试开发人员对于产品(无论是B/S还是C/S架构)的弱网测试就显得尤为重要。现实环境中什么环境会出现弱网?我们在地铁、车库、电梯中经常会使用移动端产品,就可能会出现崩溃、延时、丢包的现象,此时我们就需要针对以上环境对产品进行健壮性测试,增强产品的用户体验。FiddlerFiddler是一款主流的抓包工具,提供

2020-10-12 15:48:50 1806 2

原创 虚拟机不好卸载干净的哪些事, follow me

虚拟机不好卸载干净的哪些事工作中有时候难免和系统打交道,我们常用的桌面系统 Windows、Mac OS,而Linux一般多用来作为公司服务器系统,如果你想在windowns或者MacOS上安装一个Linux(当然也可以是Windowns或者MacOS)操作系统又不影响当前正在使用的操作系统,那么你就需要使用以下两个虚拟机软件来安装操作系统具体安装步骤这里我不再啰嗦,有很多人写过相关文章,但是大家都只说了安装,没有说卸载,我这里来说说虚拟机卸载不干净(VMware),可能回导致你再次安装时安装失败,

2020-06-26 11:30:12 788

原创 大数据之hadoop深入浅出

前言:最近身边很多身边非互联网行业的小伙伴对大数据行业感兴趣,问我有没有学习路线,说自己没有一点眉目;确实,互联网时代发展得越来越快,从2013年入行到现在,可以看到互联网发生了翻天覆地得变化,越来越多得技术人员感到了恐慌,大家都十分迫切的想要学习新的技术用来填充自己,通过和业内技术人员的交流,我发现大家的焦虑高度的一致,看未来的技术大家都很敬畏,说是现在的技术不比过去,现在一天不学习都感觉自己...

2020-05-19 00:53:36 376

原创 Mysql得复习之路部分

Mysql 1000行总结整理(sql编程、触发器、存储过程可以先跳过),转载本单元目标一、为什么要学习数据库二、数据库的相关概念 DBMS、DB、SQL三、数据库存储数据的特点四、初始MySQL MySQL产品的介绍 MySQL产品的安装 ★ MySQL服务的启动和停止 ★ MySQL服务的登录和退出 ...

2020-05-19 00:52:01 797 1

原创 MySQL之函数

MySQL之函数在使用 MySQL 的过程中,MySQL 自带的函数可能完成不了我们的业务需求,这时候就需要自定义函数。自定义函数是一种与存储过程十分相似的过程式数据库对象。它与存储过程一样,都是由 SQL 语句和过程式语句组成的代码片段,并且可以被应用程序和其他 SQL 语句调用。自定义函数与存储过程之间存在几点区别:自定义函数不能拥有输出参数,这是因为自定义函数自身就是输出参数;而存...

2020-02-27 16:34:25 360

原创 mysql之变量

MySQL 之变量MySQL 的变量分为四种: 局部变量 、 用户变量 、 会话变量 和 全局变量。其中 局部变量 只存在于函数和存储过程。其中 会话变量 和 全局变量 在 MySQL 中统称为 系统变量 。其中 用户变量 和 局部变量 在 MySQL 中统称为 自定义变量。一、系统变量说明:变量由系统定义,不是用户定义,属于服务器层面注意:全局变量需要添加global关键字,会...

2020-02-27 12:30:39 287

原创 京东商品评论爬取实战小demo

先说说为什么写这个小demo吧,说起来还真的算不上“项目”,之前有一个朋友面试,别人出了这么一道机试题,需求大概是这样紫滴:1.给定任意京东商品链接,将该商品的商品信息和商品评论信息拿下2.要求使用多任务来提高爬虫获取数据的效率3.代码简洁,规范,添加必要注释4.可以使用函数式编程,或者面向对象编程看到上面四个简单的需求,层次高的童鞋可能就看不下去了,因为太简单了,这里本人的目的是给...

2019-04-17 21:08:02 1135

原创 3分钟搞定 Flower-Celery 监控工具(监控爬虫运行状态)

什么是Flower?Flower是基于web的监控和管理Celery的工具.官方文档地址:https://flower-docs-cn.readthedocs.io/zh/latest/特性用Celery事件实时监控任务进程和历史能够显示任务的详细信息(arguments, start time, runtime等)图形化和统计远程控制查看worker状态和统计...

2019-04-11 22:55:53 4395 1

原创 Gerapy 分布式爬虫管理部署使用

Gerapy 使用详解介绍:Gerapy 是一款分布式爬虫管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发,Gerapy 可以帮助我们:更方便地控制爬虫运行更直观地查看爬虫状态更实时地查看爬取结果...

2019-04-08 21:24:14 679

原创 scrapy中关于Splash的使用

为什么要学习Splash?我们经常使用scrapy框架编写爬虫代码,站在巨人的肩膀上感觉很好,但是一旦遇到网站用JavaScript动态渲染,scrapy就显得有些力不从心了,我们了解的selenium可以完成动态加载,返回浏览器渲染后的页面,今天我们不讲selenium,Scrapy-Splash(是一个Scrapy中支持JavaScript渲染的工具)同样可以完成这件事,下面我们来说说Spl...

2019-04-07 22:21:58 2528

爬虫复习.xmind

元组件库,元组件库,元组件库,元组件库,元组件库,元组件库

2019-08-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除