vincentgoodturtle的博客

設置proxy 時記得proxy的類型要符合發出請求的url類型 import requests proxies_list = [“http”:“xxxx”] r= requests.get(url, proxies = proxies_list)

爬蟲流程 用requests 獲取目標網址的url 連結 --> 發起 html request --> 獲得html file 後解釋 html --> save to mysql / mongoDb 儲存 JSON name & value pairs 作儲存數據 獲取url連結方法 import requests r = request.get("url連結") ...