网络数据采集——遍历单个域名

最新推荐文章于 2025-07-08 23:26:43 发布

bwcxljsm

最新推荐文章于 2025-07-08 23:26:43 发布

阅读量656

点赞数

CC 4.0 BY-SA版权

分类专栏： python网络数据采集笔记

本文链接：https://blog.youkuaiyun.com/qq_36718317/article/details/79612588

python网络数据采集笔记专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一个使用Python实现的简单爬虫程序，该程序能够从维基百科的指定页面开始，随机选取链接进行页面抓取，并解析这些页面的内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from urllib.request import urlopen
from  bs4 import BeautifulSoup
import datetime
import random
import re

random.seed(datetime.datetime.now())
def getLinks(articleUrl):
    html=urlopen("http://en.wikipedia.org"+articleUrl)#维基百科的域名加词条页面的URL链接
    bsObj=BeautifulSoup(html)#解析HTML
    #返回词条链接标签并抽取href属性
    return bsObj.find("div",{"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?!:).)*$"))

links=getLinks("/wiki/Kevin_Bacon")
while len(links)>0:
    newArticle=links[random.randint(0,len(links)-1)].attrs["href"]#随机获取一个新的链接
    print(newArticle)
    links=getLinks(newArticle)