Fan_shui的博客

一、前言本编教程是通过selenium爬取阿里巴巴采购批发网址的商品数据信息，并保存到mongo。为什么用selenium呢，是因为网站大多数不再是静态网站，而是有诸如Ajax请求的动态网站，如果接口好分析是个静态接口，那么还是用不着selenium，但是像淘宝这类的网站我们不好分析它的接口，因为接口是动态变化的。光说可能有点不清楚，我们上图。二、学习目标目标网址：阿里巴巴1688.c...

一、目标 以前看过择天记，挺喜欢的，这次选它为目标（ps:支持正版，本文纯属学习交流） 二、知识点 1、pyquery解析网页，相比较BeautifulSoup，我选择pyquery，pyquery在css选择上很是强大和方便，一会我们来感受一下若是没有安装，直接pip3 install pyquery，同时推荐崔大的 https://cuiqingcai.com/5551....

一、前言 上一篇小说爬的是电脑端的静态网址，一直想爬手机端app数据的抓取，研究有好几天了，在网上也找了各种教程，差点挂在appium的环境安装。本编教程从appium的环境配置开始到抓取手机app微信朋友圈结束。二、参考博文 以下网址对于这篇教程非常重要，感谢分享悠悠博主appium+python环境搭建：https://www.cnblogs.com/yoyoketa...

一、前言 前面我们已经用appium爬取了微信朋友圈，今天我们学习下mitmproxy，mitmproxy是干什么的呢，它跟charles和fiddler类似，是一个抓包工具，以控制台的形式显示，mitmproxy的重要性在于它可以对接python,可以通过python处理抓包的数据。 试想一下我们如果不用mitmproxy，用fiddler抓取抖音的视频地址，我们可以抓到视频...

一、前言　　前面我们写的爬虫只能运行在具有python环境的电脑上，若是把源代码发给别人，很大可能性是运行不了的，所以我们本节的目的是为爬虫创建GUI界面，并打包成exe可执行文件。二、学习知识点tkinter：tkinter是python内置的模块，不用安装，可直接导入tkinter的学习是参考b站的一个python gui界面设计的视频 Python教程：https://w...