Python爬虫爬取信息

最新推荐文章于 2025-04-10 13:55:38 发布

W~J~L

最新推荐文章于 2025-04-10 13:55:38 发布

阅读量1.8k

点赞数 16

分类专栏： python 文章标签： python html

本文链接：https://blog.youkuaiyun.com/weixin_52136304/article/details/116378540

版权

Python爬虫爬取指定信息

和我的上一篇文章相同，记录自己学习过程以及经验感受分享。

上一篇文章内容是爬取指定图片，那么这一片文章就是爬取自己想要的文字部分信息。这个有什么用呢？在之后可以将爬取好的信息（数据量庞大的）进行清洗整理后，在Hadoop上进行数据分析，最后再可视化。

接下来也是分享几个网站，用实际应用来说明解决问题。

网站1：京东女鞋

需要用到的库和上一篇文章差不多还是requests和BeautifulSoup。
前五个步骤和我上一篇文章是一样的，因此可以参考一下我的上一篇文章Python爬虫爬取图片。所以这里就不过多的去解释了。

直接上前几个步骤的代码：

import requests
from bs4 import BeautifulSoup

heads = {
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
}

def downJDLadyShoe():
    for i in range(1, 200):
        strUrl = "https://list.jd.com/list.html?cat=11729%2C11731%2C9772&pag=" + str(i) + "&s=121&click=0"
        print(strUrl)
        downWebContent(strUrl)

def downWebContent(url):
            r = requests.get(url, headers=heads)
            print(r.status_code)
            parserWebContent(r.text)

def parserWebContent(content):
    bs = BeautifulSoup(content, "html.parser")
    tags = bs.find_all("li", class_="gl-item")
    for tag in tags:
        #print(tag)
        parseProductTag(tag)

接下来就是找到对应的商品信息将其爬取出来。

这里我们用到了contents,意思就是该标签下的全部内容，然后借助index来辅助我们去查找我们想要的内容。contents[参数]，参数的位置就是我们想要的爬取的对应的信息。在之后的replace("\n", “”)是因为这些信息有很多都是存在自动换行的，直接爬取下来会导致写入时查看不方便等。因此就将换行给代替掉。我们这里找了四个指标：name1是店名，name2是商品名字以及商品价格和商品图片。这里还用到了getText()函数，意思就是将该标签里的字符串提取出来。图片的网页链接缺失了头部，因此手动给它加上去。

最后我们再将这些全部拼接起来，写入到txt里就完成了。这里是写到同级目录的，若是想写到其它位置，将其改一下就好了。不用提前去创建好txt，PyCharm看你没有的话，它会自动给你创建的。

def parseProductTag(productTag):
    index = 0
    for subTag in productTag.div.contents:
        index = index + 1
        name1 = productTag.div.contents[13].getText().replace("\n", "")
        name2 = productTag.div.contents[7].a.em.getText().replace("\n", "")
        price = productTag.div.contents[5].getText().replace("\n", "")