爬虫代码


from selenium import webdriver
import  requests
from selenium.webdriver.chrome.options import Options
import time

headers ={
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
}

current_session = requests.session()

browser = webdriver.Chrome("/home/nianxiongdi/Downloads/chromedriver")
browser.get("http://www.dianping.com/shop/129879472/photos/tag-%E5%8F%91%E5%9E%8B%E7%A7%80")
time.sleep(3)

cookie = browser.get_cookies()  # 获取浏览器cookies
c = requests.cookies.RequestsCookieJar()
for i in cookie:  # 添加cookie到CookieJar
    c.set(i["name"], i["value"])
current_session.cookies.update(c)  # 更新session里的cookie

res = current_session.get("http://www.dianping.com/shop/129879472/photos/tag-%E5%8F%91%E5%9E%8B%E7%A7%80", headers=headers)

print(res.text)
# 初始化css字典
#
# driver = webdriver.Chrome("/home/nianxiongdi/Downloads/chromedriver")
# driver.get('http://www.dianping.com/shop/129879472/photos/tag-%E5%8F%91%E5%9E%8B%E7%A7%80')

 

评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值