
requests库
YULIU_
I'm coming
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
利用python对网页和图片的简单爬取
对jd.com里任意商品页面的爬取import requests url = "https://item.jd.com/2967929.html" try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text[:1000]) except:原创 2017-04-12 22:21:01 · 1905 阅读 · 0 评论 -
解决反爬虫fake-useragent 的用法
** UserAgent 就是用户代理,又叫报头,是一串字符串,相当于浏览器的身份证号 在利用爬虫爬取网站数据时,频繁更换它可以避免触发相应的反爬机制 ** 安装 pip install fake-useragent 用法 引入,生成实例: from fake_useragent import UserAgent ua = UserAgent() 如果报错 fake_useragent.e...原创 2018-12-27 22:51:20 · 6629 阅读 · 0 评论