YULIU_的博客

对jd.com里任意商品页面的爬取import requestsurl = "https://item.jd.com/2967929.html"try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text[:1000])except:

**UserAgent 就是用户代理，又叫报头，是一串字符串，相当于浏览器的身份证号在利用爬虫爬取网站数据时，频繁更换它可以避免触发相应的反爬机制**安装pip install fake-useragent用法引入，生成实例：from fake_useragent import UserAgentua = UserAgent()如果报错 fake_useragent.e...