<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[shifengboy的博客]]></title><description><![CDATA[纸上得来终觉浅，绝知此事要躬行！]]></description><link>https://blog.youkuaiyun.com/shifengboy</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; shifengboy]]></copyright><item><title><![CDATA[UIAutomator测试框架介绍]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/128257035</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/128257035</guid><author>shifengboy</author><pubDate>Fri, 09 Dec 2022 17:24:00 +0800</pubDate><description><![CDATA[uiautomator简介
UiAutomator是Google提供的用来做安卓自动化测试的一个Java库，基于Accessibility服务。功能很强，可以对第三方App进行测试，获取屏幕上任意一个APP的任意一个控件属性，并对其进行任意操作，但有两个缺点：1. 测试脚本只能使用Java语言 2. 测试脚本要打包成jar或者apk包上传到设备上才能运行
uiautomator2是对uiauto...]]></description><category></category></item><item><title><![CDATA[Python 操作Excel-openpyxl模块使用]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127399836</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127399836</guid><author>shifengboy</author><pubDate>Tue, 18 Oct 2022 22:51:00 +0800</pubDate><description><![CDATA[openpyxl 的用法实例
1.1 Openpyxl 库的安装使用
openpyxl 模块是一个读写 Excel 2010 文档的 Python 库，如果要处理更早格式的 Excel 文 档，需要用到额外的库，openpyxl 是一个比较综合的工具，能够同时读取和修改 Excel 文档。 其他很多的与 Excel 相关的项目基本只支持读或者写 Excel 一种功能。新建、读取、保存工 作簿。
...]]></description><category></category></item><item><title><![CDATA[Python-数据的多种存储形式]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127392383</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127392383</guid><author>shifengboy</author><pubDate>Tue, 18 Oct 2022 15:08:00 +0800</pubDate><description><![CDATA[1 JSON 文件存储
JSON，全称为 JavaScript Object Notation, 也就是 JavaScript 对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。本节中，我们就来了解如何利用 Python 保存数据到 JSON 文件。
1. 对象和数组
在 JavaScript 语言中，一切都是对象。因此，任何支持的类型都可以通...]]></description><category></category></item><item><title><![CDATA[PyQuery详解]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127386193</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127386193</guid><author>shifengboy</author><pubDate>Tue, 18 Oct 2022 11:30:00 +0800</pubDate><description><![CDATA[为什么选择PyQuery？
Python爬虫解析库，主流的有

PyQuery
Beautifulsoup
Scrapy Selectors
正则表达式。

PyQuery和scrapy Selectors都是基于lxml模块，而lxml和正则表达式都是C语言写的，只有Beautifulsoup是用纯Python编写的，所以在实测中，Beautifulsoup 的解析速度比其他几种慢了5倍以上！...]]></description><category></category></item><item><title><![CDATA[爬虫的基本原理]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127328461</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127328461</guid><author>shifengboy</author><pubDate>Fri, 14 Oct 2022 20:41:00 +0800</pubDate><description><![CDATA[一、爬虫的基本原理
网络爬虫的价值其实就是数据的价值，在互联网社会中，数据是无价之宝，一切皆为数据，谁拥有了大量有用的数据，谁就拥有了决策的主动权。
爬虫聚合站点
https://qbt4.mobduos.com/promote/pc/?code=339115928&amp;utm=339115928
http://www.hrdatayun.com
https://tophub.today/c...]]></description><category></category></item><item><title><![CDATA[python3 http.server模块 搭建简易 http 服务器]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127308427</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127308427</guid><author>shifengboy</author><pubDate>Thu, 13 Oct 2022 14:19:00 +0800</pubDate><description><![CDATA[在命令行直接运行：
python -m http.server 80
或 python3 -m http.server 80
会看到如下输出：
Serving HTTP on 0.0.0.0 port 80 (http://0.0.0.0:80/) ...
在浏览器访问会展示运行命令所在目录下的文件
通过代码搭建
from http.server import HTTPServer, BaseH...]]></description><category></category></item><item><title><![CDATA[Python爬虫-scrapyd框架部署]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127272680</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127272680</guid><author>shifengboy</author><pubDate>Tue, 11 Oct 2022 20:05:00 +0800</pubDate><description><![CDATA[爬虫项目部署
1 脚本文件部署
linux内置的cron进程能帮我们实现这些需求，cron搭配shell脚本，非常复杂的指令也没有问题。
1.1 crontab的使用
crontab [-u username]　　　　//省略用户表表示操作当前用户的crontab
    -e      (编辑工作表)
    -l      (列出工作表里的命令)
    -r      (删除工作)
我们用...]]></description><category></category></item><item><title><![CDATA[Python爬虫-Scrapy-Redis分布式]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127236646</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127236646</guid><author>shifengboy</author><pubDate>Sun, 09 Oct 2022 21:17:00 +0800</pubDate><description><![CDATA[Scrapy-Redis 分布式
1 分布式概述
1.0 scrapy-redis是什么
之前我们已经学习了Scrapy，它是一个通用的爬虫框架，能够耗费很少的时间就能够写出爬虫代码
Scrapy-redis是scrapy的一个组件，它使用了Redis数据库做为基础，目的为了更方便地让Scrapy实现分布式爬取
Scrapy能做的事情很多，但是要做到大规模的分布式应用则捉襟见肘。有能人改变了Sc...]]></description><category></category></item><item><title><![CDATA[“Navicat Premium”已损坏,无法打开， 您应该将它移到废纸篓的解决办法]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127237008</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127237008</guid><author>shifengboy</author><pubDate>Sun, 09 Oct 2022 20:41:00 +0800</pubDate><description><![CDATA[在打开软件的时候遇到这种情况下按以下操作
1)首先在设置中找安全与隐私然后在通用里面找到下面 的图片

如果没有设置任何来源，那把小锁打开，添加一下任何来源。在尝试安装
2.如果还不行，在终端粘贴复制输入命令：
sudo xattr -r -d com.apple.quarantine
输入玩这个命令后在敲一个空格，先不要回车。先看第三步
3.打开 “访达”(Finder)进入 “应用程序” 目...]]></description><category></category></item><item><title><![CDATA[Python 爬虫-feapder 框架简介]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127236647</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127236647</guid><author>shifengboy</author><pubDate>Fri, 07 Oct 2022 20:21:00 +0800</pubDate><description><![CDATA[feapder 框架
学习目标


掌握便捷式框架操作流程


掌握请求钩子结构使用


掌握框架项目搭建流程


掌握数据入库与去重


1 简介
国内文档：https://boris-code.gitee.io/feapder
feapder 是一款上手简单，功能强大的Python爬虫框架，使用方式类似scrapy，方便由scrapy框架切换过来，框架内置3种爬虫：
1.1  支持的场景

...]]></description><category></category></item><item><title><![CDATA[scrapy解析与数据库]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127237010</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127237010</guid><author>shifengboy</author><pubDate>Fri, 16 Sep 2022 18:11:00 +0800</pubDate><description><![CDATA[Scrapy功能学习
1 scrapy数据提取
Scrapy 还提供了自己的数据提取方法，即 Selector(选择器)。Selector 是基于 lxml 来构建的，支持 XPath 选择器、CSS 选择器以及正则表达式，功能全面，解析速度和准确度非常高
1.1. 直接使用
Selector 是一个可以独立使用的模块。我们可以直接利用Selector这个类来构建一个选择器对象，然后调用它的相关...]]></description><category></category></item><item><title><![CDATA[Python BeautifulSoup简介]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127236643</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127236643</guid><author>shifengboy</author><pubDate>Thu, 15 Sep 2022 20:11:00 +0800</pubDate><description><![CDATA[1.BeautifulSoup简介
BeautifulSoup是一个可以从HTML或XML文件中提取数据的python库；它能够通过转换器实现惯用的文档导航、查找、修改文档的方式。
BeautifulSoup是一个基于re开发的解析库，可以提供一些强大的解析功能；使用BeautifulSoup能够提高提取数据的效率与爬虫开发效率。
2.BeautifulSoup总览
构建文档树
Beautifu...]]></description><category></category></item><item><title><![CDATA[爬虫技术-Scrapy框架介绍]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127236644</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127236644</guid><author>shifengboy</author><pubDate>Wed, 14 Sep 2022 21:52:00 +0800</pubDate><description><![CDATA[Scrapy采集框架
1 学习目标
1、框架流程和结构设计原理
2、框架爬虫程序编写
3、框架日志模块使用
4、框架请求发送流程
2 scrapy简介
​		Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。
2.0 单个爬虫编写
class Spid...]]></description><category></category></item><item><title><![CDATA[爬虫技术-滑块验证码]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127236637</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127236637</guid><author>shifengboy</author><pubDate>Fri, 09 Sep 2022 17:55:00 +0800</pubDate><description><![CDATA[滑块验证码
1. 滑块简介

注：重点是识别滑块缺口，测出需要拖动的距离
1.1 核心步骤


从服务器随机取一张图片，并对图片上的随机x,y坐标和宽高一块区域抠图；


根据步骤一的坐标和宽高，使用二维数组保存原图上抠图区域的像素点坐标；


根据步骤二的坐标点，对原图的抠图区域的颜色进行处理。


完成以上步骤之后得到两张图(扣下来的方块图，带有抠图区域阴影的原图),将这两张图和抠图区域的y...]]></description><category></category></item><item><title><![CDATA[爬虫技术-验证码处理]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127236642</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127236642</guid><author>shifengboy</author><pubDate>Fri, 09 Sep 2022 08:51:00 +0800</pubDate><description><![CDATA[验证码反爬虫
1. 简介
​		我们在浏览网站的时候经常会遇到各种各样的验证码，在多数情况下这些验证码会出现在登录账号的时候，也可能会出现在访问页面的过程中，严格来说，这些行为都算验证码反爬虫。
样例：https://my.cnki.net/Register/CommonRegister.aspx?returnUrl=https://www.cnki.net
1.1 验证码得作用
它有什么用呢？...]]></description><category></category></item><item><title><![CDATA[爬虫技术-字体反爬]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127237009</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127237009</guid><author>shifengboy</author><pubDate>Wed, 07 Sep 2022 15:37:00 +0800</pubDate><description><![CDATA[文本混淆章节
1.  文本混淆简介
简单而言就是利用前端技术干扰，页面可以正常展示，而使用爬虫下载后无法提取正常的数据。
1.1 常见的干扰方式

字体反爬

2. 字体反爬
2.1 字体反爬简介
​		在 CSS3 之前，Web 开发者必须使用用户计算机上已有的字体。目前的技术开发者可以使用@font-face为网页指定字体，开发者可将心仪的字体文件放在 Web 服务器上，并在 CSS 样式中...]]></description><category></category></item><item><title><![CDATA[爬虫技术-cookie反爬讲解]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127236636</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127236636</guid><author>shifengboy</author><pubDate>Sun, 04 Sep 2022 17:24:00 +0800</pubDate><description><![CDATA[COOkIE反爬虫
1 cookie反爬简介
Cookie 反爬虫指的是服务器端通过校验请求头中的 Cookie 值来区分正常用户和爬虫程序的手段，这种手段被广泛应用在 Web 应用中。
1.1 cookie加密原理

2 cookie逆向实践
2.1 逆向目标


地址：http://www.zjmazhang.gov.cn/hdjlpt/published?via=pc


接口：http:...]]></description><category></category></item><item><title><![CDATA[JavaScript反爬之哈希算法]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127236631</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127236631</guid><author>shifengboy</author><pubDate>Wed, 17 Aug 2022 15:56:00 +0800</pubDate><description><![CDATA[载要
哈希算法是 JavaScript 中和 Python 中的基本实现方法，遇到 JS 加密的时候可以快速还原加密过程，有的网站在加密的过程中可能还经过了其他处理，但是大致的方法是一样的。
消息摘要算法/签名算法：MD5、SHA、HMAC
1. MD5
简介：全称 MD5 消息摘要算法，又称哈希算法、散列算法，由美国密码学家罗纳德·李维斯特设计，于 1992 年作为 RFC 1321 被公布，...]]></description><category></category></item><item><title><![CDATA[Python 协程 asyncio 极简入门与爬虫实战]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127236629</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127236629</guid><author>shifengboy</author><pubDate>Fri, 05 Aug 2022 20:23:00 +0800</pubDate><description><![CDATA[在了解了 Python 并发编程的多线程和多进程之后,我们来了解一下基于 asyncio 的异步IO编程--协程
协程简介
协程(Coroutine)又称微线程、纤程，协程不是进程或线程，其执行过程类似于 Python 函数调用，Python 的 asyncio 模块实现的异步IO编程框架中，协程是对使用 async 关键字定义的异步函数的调用;
一个进程包含多个线程,类似于一个人体组织有多种细...]]></description><category></category></item><item><title><![CDATA[Python协程-gevent]]></title><link>https://blog.youkuaiyun.com/shifengboy/article/details/127236627</link><guid>https://blog.youkuaiyun.com/shifengboy/article/details/127236627</guid><author>shifengboy</author><pubDate>Fri, 05 Aug 2022 15:35:00 +0800</pubDate><description><![CDATA[gevent
greenlet已经实现了协程，但是这个需要人工切换，是不是觉得太麻烦了，不要捉急，python还有一个比greenlet更强大的并且能够自动切换任务的模块gevent
其原理是当一个greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。
...]]></description><category></category></item></channel></rss>