电商数据分析是个香饽饽,可市面上的数据采集工具要不贵得吓人,要不就是各种广告弹窗。干脆自己动手写个爬虫,想抓啥抓啥,还能学点技术。今天咱聊聊怎么用Python写个简单的电商数据爬虫。
打好基础:搞定请求头
别看爬虫很牛,但基础工作得做足。浏览器访问网页时会带上各种 请求头信息 ,咱们写爬虫也得模仿这个行为,不然分分钟被网站拦截。
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5',
}
温馨提示:每个网站的反爬策略不一样,有时候可能需要加上Cookie、Referer等信息。要是遇到了再加就成。
发起请求:requests库来帮忙
发请求用 requests库 准没错,简