爬取字段 spider_text

最新推荐文章于 2023-10-18 15:34:19 发布

weixin_30920091

最新推荐文章于 2023-10-18 15:34:19 发布

阅读量124

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/sushome/p/6141804.html

本文介绍了一个简单的Python脚本，该脚本使用urllib2和正则表达式从北京信息科技大学的主页爬取新闻标题。通过定义函数getPage()来获取网页源代码，并定义getTitle()来解析并提取新闻标题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

__author__ = 'sus'
import urllib
import urllib2
import re

def getPage(url): #获取网页
request = urllib2.Request(url)
response = urllib2.urlopen(request)
page=response.read().decode('utf-8')
return page

def getTitle(page): #获取目录
pattern = re.compile('<a href="http://news.bistu.edu.cn.*?>(.*?)</a>',re.S)
items = re.findall(pattern,page)
for item in items:
return item

page=getPage("http://www.bistu.edu.cn")
print getTitle(page)

转载于:https://www.cnblogs.com/sushome/p/6141804.html