qq_52914337的博客

目录移动端数据简介adb的简介与使用adb的安装与使用adb有什么作用？adb如何使用？fiddler抓包工具的使用常见App抓包软件对比fiddler抓包工具什么是fiddler？fiddler功能Fiddler设置移动端数据包夜神模拟器配置fiddler设置Appium爬取移动端环境搭建Java环境AndroidSDK环境搭建adb调试工具adb的构成和工作原理adb常用命令Appium介绍和安装Appium介绍

目录cookie的作用cookie池的部署cookie的优势cookie的属性如何查看网站的cookiecookie的保存使用（案例）cookie的作用1.登录账号可以降低被封禁的概率；2.解决单个账号受访问限制；3.避免复杂的模拟登录验证码；4.爬取登录之后才能爬取的数据；cookie池的部署cookie池的部署重点在于模拟登录服务和cookie的检测。cookie的优势1.服务分离；2.组件也可以实现分离；3.服

什么是字体反爬就是网页的制作者，他在发布他网页数据的时候。将其中一部分的字体变成乱码。即使你把网页的数据爬取下来，你也获取不到真实数据的样貌。这样就达到了一个反爬虫的目的。如何解决字体反爬1.下载.ttf文件；2.将.ttf文件转换成xml文件；3.分析字体规律找到映射关系。就是找到字体文件，发现替换关系，将爬取下来的数据替换的过程。如何找到字体文件1.定位到进行了字体反爬的位置，在对应的styles里面找到font-family；2.复制font-fam

环境搭建安装node.js下载网站：Download | Node.jshttps://nodejs.org/en/download/参考网站：Node.js安装与环境配置_各自安好、的博客-优快云博客_nodejs安装及环境配置https://blog.youkuaiyun.com/qq_41465646/article/details/107656044安装js代码调试工具使用VScode可以调试JS代码：VScode安装：VSCode详细安装教程 - 是大壳子啊 - 博客园 (cnblo

背景随着互联网+大数据时代的来临，传统的关系型数据库已经不能满足中大型网站日益增长的访问量和数据量。这个时候就需要一种能够快速存取数据的组件来缓解数据库服务I/O的压力，来解决系统性能上的瓶颈。Redis是什么？Redis是一个高性能的，开源的，C语言开发的，键值对存储数据的nosql数据库。NoSQL：not only sql，泛指非关系型数据库 Redis/MongoDB/Hbase Hadoop关系型数据库：MySQL、oracle、SqlServer数据库的发展历史

目录SQL与NoSQL的主要区别MongoDB的优势MongoDB在Ubuntu中安装远程连接MongoDB在Windows中的安装运行MongoDB连接MongoDBMongoDB概念介绍MongoDB三要素MongoDB中数据库的基本使用MongoDB中数据库的基础命令MongoDB的数据类型数据库命名规范MongoDB的增删改查MongoDB插入数据单条插入数据多条插入数据MongoDB的保存MongoDB的查询数据测试数

一.Scrapy介绍什么是ScrapyScrapy是一个为了爬取网站数据，提取结构性数据二编写的应用框架，我们只需要实现少量的代码，就能快速的进行抓取，Scrapy使用了Twisted异步网络框架，可以极大的加速我们的下载速度。Scrapy官方文档初窥Scrapy — Scrapy 1.0.5 文档http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html异步与非阻塞的区别异步：调用在发出之后，这个调用就直

目录一.多线程基本介绍程序中模拟多任务二.多线程的创建三.主线程与子线程的执行关系四.查看线程数量五.线程间的通信（多线程共享全局变量）六.线程间的资源竞争互斥锁和死锁互斥锁死锁七.Queue线程八.生产者和消费者Lock版的生产者和消费者Condition版的生产者和消费者九.多线程的应用实例爬取小米商城使用普通方式爬取使用多线程爬取一.多线程基本介绍有很多场景中的事情是同时进行的，比如开车的时候手和脚来共同驾驶汽车，再比如唱

目录爬虫和反爬虫的斗争爬虫建议ajax基本介绍动态了解HTML技术获取ajax数据的方式一.Selenium+chromedriverSelenium介绍Phantomjs快速入门Phantomjs案例selenium快速入门定位元素操作表单数据鼠标行为链Selenium页面等待Cookie操作页面等待打开多窗口和切换页面特征识别和设置无头窗口selenium常用的js操作二.图形验证码识别Tesseract安装以及操作

目录一.bs4简介1.基本概念2.源码分析二.bs4的使用1.快速开始2.bs4的对象种类三.遍历文档树 遍历子节点1.contents children descendants2.string strings stripped_strings四.遍历文档树 遍历父节点1.parent和parents五.遍历文档树 遍历兄弟节点六.搜索树七.find_all() 和 find()八.select（）方法九...

目录一.什么是csv？二.csv模块的使用1.写入csv文件2.读取文件一.什么是csv？CSV（Comma Separated Values），即逗号分隔值（也称字符分隔值，因为分隔符可以不是逗号），是一种常用的文本格式，用以存储表格数据，包括数字或字符。很多程序在处理数据时都会碰到csv这种格式的文件。python自带了csv模块，专门用于处理csv文件的读取。二.csv模块的使用1.写入csv文件（1）通过创建writer对象，主要用到2个方法。一个是wri

目录一.正则表达式简介1.概念2.正则表达式应用场景二.正则表达式对Python的支持1.普通字符2.match()函数3.元字符4.预定义匹配字符集5.重复匹配6.位置匹配7.贪婪和非贪婪模式三.re模块常用方法compile(pattern, flags=0)flag匹配模式search(pattern, string, flags=0)findall(pattern, string, flags=0)split(pattern, st

一.urllib.request模块1.版本python2：urllib2，urllibpython3：把urllib和urllib2合并2.常用的方法（1）urllib.request.urlopen("网址") 作用 ：向网站发起一个请求并获取响应；（2）字节流 = response.read()，得到字节流数据；（3）字符串 = response.read().decode("utf-8")；（4）urllib.request.Request"网址",headers

目录一.通讯协议1.端口2.通讯协议二.网络模型1.HTTPS是什么呢？2.SSL怎么理解？3.http请求与响应4.客户端的HTTP请求5.一个典型的HTTP请求示例6.请求方法三.爬虫介绍1.什么是爬虫？2.为什么需要爬虫3.企业获取数据的方式4.Python做爬虫的优势5.爬虫的分类四.重要概念1.GET和POST2.URL组成部分3.User-Agent用户代理4.Referer五.抓包工具一.通讯协议..