爬虫
关注
分享
扫一扫
陈文青-
这个作者很懒，什么都没留下…
展开
-
基于Python，IP代理池，多线程，mongoDB的第一个反反爬
get_ip.py 获取ip代理import requestsfrom lxml import etreeimport urllibimport random"""从西刺Ip网站，得到一些可用的代理Ip """url = r'http://www.xicidaili.com/wn'ip_list=[] # 存放爬取列表def get_ip_list(url =...原创 2018-09-01 10:54:21 · 943 阅读 · 0 评论 -
基于Python的第一个爬虫项目
本文内容是慕课网上的爬虫课程项目 ，从python百度百科开始，获取链接从整个互联网上进行爬取相关知识url_manager.pyclass UrlManager(object): """ URL管理器：负责管理待抓取的URL和已抓取的URL，防止重复抓取和循环抓取 """ def __init__(self): """ ...原创 2018-09-01 11:06:03 · 358 阅读 · 0 评论 -
手机控制脚本之Appium的使用
1. 准备工作安装Appium Android开发环境（可通过Android Studio安装SDK） Python版本的Appium API 连接手机 adb devices # 安卓下的工具，查看连接设备 获取app的入口 2. 运行AppiumStart server New Session Window 设置platformNamedev...原创 2018-10-12 10:48:00 · 853 阅读 · 0 评论 -
APP爬虫之B站app爬虫模板
import urllib.requestimport urllib.parseimport json# 解决证书信任问题import sslssl._create_default_https_context = ssl._create_unverified_context# headers 通过具体抓包设置headers ={}video_page_num = 1whi...原创 2018-10-12 11:05:13 · 906 阅读 · 0 评论 -
APP爬虫之mitmdump的使用（待改）
1. 准备工作安装mitmproxy和mitmdump（windows下不可以使用mitmproxy） 手机设置代理，端口8080 配置好mitmproxy的CA证书 mongoDB安装运行2. 编写脚本 script.py3. 运行mitmdump Mitmdump -s script.py4. 操作手机便可得到对应输出import jsonimport ...原创 2018-10-12 11:14:09 · 2026 阅读 · 0 评论