Python 爬虫学习笔记(六)

柠檬汽水橘子汁

于 2020-03-31 20:49:56 发布

阅读量238

点赞数

分类专栏： Python 爬虫文章标签： python

本文链接：https://blog.youkuaiyun.com/sinat_39665351/article/details/105231567

版权

本文详细介绍了一种使用Python爬虫技术抓取淘宝商品信息的方法，包括如何绕过robots协议限制，利用Chrom浏览器F12工具定位目标数据，通过requests库发送请求，并结合正则表达式提取商品标题和价格等关键信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python 爬虫学习笔记(六)

【Python网络爬虫与信息提取】.MOOC. 北京理工大学

淘宝商品信息定向爬取
- 定向爬虫可行性判断：robots协议
- 程序结构设计：
  1. 提交请求
  2. 提取每个页面信息
  3. 将信息输出到屏幕
步骤：（参考博客）
1. 登录淘宝网
2. (Chrom浏览器)F12，选择network
3. 输入任意商品信息，点击搜索
4. 找到search?q=…右键 => copy => copy as cURL(bash)
5. 打开网址：https://curl.trillworks.com/#python，将复制的内容粘贴到左边的curl command框中，得到Python requests，复制该框中的header内容，粘贴到getHtmlText(url)函数中

# 视频43 淘宝商品信息爬取
import requests
import re


def getHtmlText(url): #获得页面
    try:
        header = {
   
            'authority': 's.taobao.com',
            'cache-control': 'max-age=0',
            'upgrade-insecure-requests': '1',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36',
            'sec-fetch-user': '?1',
            'accept': 'text

最低0.47元/天解锁文章