
python爬虫
唐阿彪
天之道损有余而补不足, 人之道损不足以奉有余
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
爬虫破解qq翻译接口自制一个翻译工具
输入要翻译的内容时 , 地址并未发生变化,因此可断定是向接口发送的ajax请求清空一下审查窗口,再点击一次翻译可以发现实际发送请求的url为https://fanyi.qq.com/api/translate并且可以看到发送的是post请求,请求表单数据和响应数据都可以找到,复制form表单数据,然后换一个词翻译,同样复制form表单数据,比较两个表单数据有哪些不同,以方便去模仿构...原创 2018-11-12 20:38:39 · 1220 阅读 · 0 评论 -
一个简单爬虫爬取西刺免费代理网站的代理IP
import requestsimport redef get_ip(): url = "http://www.xicidaili.com/" headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67...原创 2018-11-12 20:45:22 · 2452 阅读 · 0 评论 -
拉勾网的职位信息爬取(详细)
1.进入拉钩网,(调到注册页可删掉url详情后缀直接登陆主页) 2.选定一个城市一种职位,分析一下页面,发现点击第一页第二页换页时url地址栏并未发生变化,可以判断是ajax发送的请求,且显示是post请求拿到实际的请求地址,并构造查询字符串和请求体内容 https://www.lagou.com/jobs/positionAjax.json?gj=3%E5%B9%B4%E5...原创 2018-11-16 11:12:28 · 2211 阅读 · 0 评论