u014621911的博客

本人刚刚学习python想碰到的问题做成笔记，顺便复习，本人的第一个爬虫代码不一定简洁，第一次写文章格式也不一定OK。有不好的地方请赐教 此项目的目的是为了抓取测试各代理免费IP，并测试提供可使用的IP给其他爬虫使用 coding=utf-8 import requests import re import random import time import os from functo...

拉勾网的职位界面使用ajax技术，在原网页代码无法获取搜索的职位信息。 1.抓包分析 ， ! 通过反复观察，找到了信息职位的界面，根据这个数据包的信息制作头部信息 headers = { 'User-Agent': random_user, #随机用户 "Referer":"https://www.lagou.com/jobs/list_python/",# 从某页访问过来 "X-Ani...