爬虫中代理的使用

shengblue

于 2019-03-20 22:05:55 发布

阅读量250

点赞数

本文链接：https://blog.youkuaiyun.com/shengblue/article/details/88701522

版权

博客围绕爬虫中代理的使用展开，虽未给出具体内容，但可知核心聚焦于在爬虫操作里如何运用代理，这在信息技术领域的网络数据采集方面有重要意义。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from fake_useragent import UserAgent
from bs4 import BeautifulSoup

proxy_get=requests.get('http://193.112.219.93:5000/get')
proxy={
    'http':'http://'+proxy_get.text
}
ua=UserAgent()
headers={
    'user-agent':ua.chrome
}

url="https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare="
html=requests.get(url=url,headers=headers,proxies=proxy)
soup=BeautifulSoup(html.content.decode('gbk'),'lxml')