python 爬虫爬取csdn

最新推荐文章于 2025-06-18 14:14:44 发布

位文杰TOP

最新推荐文章于 2025-06-18 14:14:44 发布

阅读量2w

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/qq_36958104/article/details/81298356

爬虫专栏收录该内容

9 篇文章

订阅专栏

本文详细介绍了使用Python进行网络爬虫的实际操作，通过解析优快云博客文章页面，获取并分析文章的阅读数量。利用urllib2和BeautifulSoup库，实现了对特定网页的数据抓取和解析，展示了如何定位并读取网页中特定元素的文本信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib2.request
import re.request
from bs4 import BeautifulSoup

def getHtml(url,headers):
req = urllib2.Request(url,headers=headers)
page = urllib2.urlopen(req)
html = page.read()
return html

def parse(data):
content = BeautifulSoup(data,'lxml')
return content

def getReadNums(data,st):
reg = re.compile(st)
return re.findall(reg,data)

url = 'http://blog.youkuaiyun.com/marksinoberg/article/details/51493318'
headers = {
'referer':'http://blog.youkuaiyun.com/',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'
}
i = 0
while i<24:
html = getHtml(url,headers)
content = parse(html)
result = content.find_all('span',class_='link_view')
# print (result[0].get_text())
i = i +1